Unsere Sinne erlauben uns die Aufnahme sehr unterschiedlicher Umweltinformationen und unterscheiden sich durch eine Vielzahl modalspezifischer Besonderheiten. Das Auge ist eher auf die Wahrnehmung räumlicher Strukturen und das Ohr auf die Wahrnehmung zeitlicher Vorgänge spezialisiert. Wir sind jedoch nur in den seltensten Fällen mit Sinnesreizen einer einzigen Modalität konfrontiert, erschließen wir unsere Umwelt doch mit fünf Sinnen und somit multimodal. Konsequenterweise sind unsere Sinnesorgane auch nicht, wie oft angenommen, voneinander isoliert, denn erst ihr synergetisches Zusammenspiel hat dem Menschen seinen evolutionären Vorteil verschafft. Unabhängig von der Modalität dominiert in der jeweiligen Situation der verlässlichste Stimulus alle anderen – liefert ein Sinn zu wenig oder unklare Informationen, so treten andere Sinne als Korrektiv auf. Die Integration multimodaler Sinnesreize in sinnvolle Einheiten wird als multimodale Integration bezeichnet und findet teilweise schon auf neuronaler Ebene und somit unbewusst und passiv statt. Eine weitere oft angewandte Möglichkeit der Verknüpfung von Reizen über Sinnesgrenzen hinweg ist als intermodale Analogie bekannt. Hier wird bewusst und aktiv nach einer amodalen Eigenschaft gesucht, die in mehreren Sinnesbereichen vorhanden ist, etwa Intensität oder Helligkeit, um Analogien über die Sinnesgrenzen hinweg zu bilden. Diese hier in aller Kürze vorgestellten Mechanismen sind natürlich nur zwei Elemente im Zusammenwirken von Hören und Sehen. In der Reflexion der audiovisuellen Wahrnehmung sollten sie zumindest von der genuinen Synästhesie und anderen assoziativen oder emotionalen Verknüpfungen von Bild und Ton unterschieden werden.
Unser Wahrnehmungsapparat ist eine Antwort auf das informative Überangebot der Umwelt. Nach Konrad Lorenz ist jedes Sinnesorgan eine Gestalt gewordene Theorie darüber, welche Umweltinformationen einen evolutionären Vorteil versprechen.[1] Jeder Sinn fokussiert einen kleinen Ausschnitt aus dieser schier unendlichen Fülle und öffnet dabei, so könnte man sagen, das Tor zu einer anderen Welt. Die Wahrnehmungswelten, die uns Sehen und Hören eröffnen, zeichnen sich dabei, vereinfacht dargestellt, durch folgende modalspezifischen Besonderheiten aus:
Durch die Wahrnehmung hochfrequenter Lichtstrahlen mit Wellenlängen von 380 bis 680 Nanometern, die sich nahezu geradlinig ausbreiten, vermag das Auge Oberflächenstrukturen extrem detailgenau aufzulösen. Dies ermöglicht uns eine präzise räumliche Orientierung, was etwa beim Erfassen von winzigen Strukturen wie Schriftzeichen evident wird. Der menschliche Hörapparat ist hingegen auf das Verständnis der menschlichen Stimme optimiert. Die diesem Bereich zugehörigen Schallwellen mit Wellenlängen von etwa 20 bis 30 cm beugen sich um Gegenstände kleinerer Größe und sind daher für eine präzise räumliche Wahrnehmung vergleichsweise ungeeignet.
Sehen ist ein gezielter und gerichteter Vorgang, der aktiv und bewusst abläuft. In der Regel werden Sinnesreize vom Auge direkt zur rationalen Verarbeitung an das Großhirn geleitet, was die visuelle Wahrnehmung für die Bewältigung differenzierter Leistungen prädestiniert. Vom Ohr führen einige Nervenbahnen direkt zum Zwischenhirn, das unter anderem für die Steuerung von Emotionen verantwortlich ist – deshalb sind akustische Reize in der Lage, relativ unmittelbar Gefühle und Körperreaktionen (etwa ein Ansteigen der Pulsfrequenz) auszulösen. Zudem ist das Ohr unbeweglich und nicht zu schließen, weshalb man, gewollt oder nicht, alle akustischen Ereignisse der Umgebung registriert, sogar wenn man schläft. Hören ereignet sich oft auch unbewusst und passiv und kann als ganzheitlich und kollektivierend beschrieben werden, sind doch die akustischen Wahrnehmungen für mehrere Personen in einem Raum weitgehend deckungsgleich.
Unsere visuelle Wahrnehmung ist auf die Erfassung statischer Objekte optimiert und kann in der Regel maximal einer einzigen Bewegung folgen, etwa einem vorbeifahrenden Auto. Akustische Phänomene sind dagegen ohne dynamische Veränderungen praktisch undenkbar. Beim Hören können auch mehrere simultane Bewegungen problemlos unterschieden werden, etwa die Geräusche zweier sich voneinander entfernender Autos. Außerdem ist der Gehörsinn in der Aufnahme und Prozessierung von Sinnesreizen grundsätzlich schneller als der Gesichtssinn. Das Ohr ist also tendenziell auf die Wahrnehmung zeitlich verlaufender Prozesse und das Auge auf die detaillierte Auflösung statischer Phänomene spezialisiert, was wohl der gängigen Assoziation von Bildern mit Beständigkeit beziehungsweise der von Tönen mit Flüchtigkeit zugrunde liegt. [2]
Auch wenn man die Bedeutung derartiger modalspezifischer Qualitäten nicht genug betonen kann, liegt die besondere Leistung unseres Wahrnehmungsapparates in der Verknüpfung und Konvergenz dieser vermeintlich abgeschotteten Domänen – erst ihr synergetisches Zusammenwirken hat dem Menschen seinen evolutionären Vorteil verschafft.
Despite the creation of a means of segregating information on a sense-by-sense basis, evolution did not eliminate the ability to benefit from the advantages of pooling information across sensory modalities. Rather, it created an interesting duality: some parts of the brain became specialized for dealing with information within individual senses, and others for pooling information across senses. [3]
Nur in den seltensten Fällen sind wir mit Sinnesreizen einer einzigen Modalität konfrontiert, erschließen wir unsere Umwelt doch mit fünf Sinnen und somit multimodal. Tatsächlich ist die Aufteilung unserer Wahrnehmung in mehrere voneinander unabhängige Welten – hören, sehen, riechen, schmecken, fühlen – eine enorme Abstraktionsleistung, die jeder Mensch erst im Rahmen der kulturellen Sozialisation erlernt. In der Literatur stößt man mitunter auf den aufschlussreichen Hinweis, dass die Medien und technischen Apparate des 19. Jahrhunderts zur Singularisierung unserer Sinne beigetragen haben. Denn Klang, Bewegung, Körper und Bild standen in der Kulturgeschichte zumindest so lange in einem unmittelbaren Verhältnis, bis technische Möglichkeiten deren Separierung forcierten. […] Wie paralysiert starrten die Menschen auf die Trichter von Grammophonen. Von da an wird also die Spezialisierung bestimmter Körperfunktionen außerhalb des Körpers forciert und damit auch die Spezialisierung der Sinne.[4] Unabhängig davon, ob man diese konkrete Einschätzung teilen will, scheint es nicht von der Hand zu weisen zu sein, dass die technische Entwicklung und die menschliche Wahrnehmung eng miteinander verwoben sind. Seitdem es mit der Entwicklung der audiovisuellen Medien im 20. Jahrhundert nun möglich ist, Bild und Ton synchron aufzunehmen und wiederzugeben, haben sich unsere Wahrnehmung, der Gebrauch und die Gewichtung unserer Sinne erneut transformiert – die Trennung von Hören und Sehen wird auf technischer Basis untergraben. Während das in der westlichen Kultur dominierende Primat des Auges als zusehends problematisch erscheint, wird das Zusammenwirken der Sinne aufgewertet und immer öfter zum Thema gemacht. Auch deshalb kann heute auf sinnhafte Weise von audiovisueller Wahrnehmung gesprochen werden, wobei in Folge einige Mechanismen des komplexen Zusammenspiels von Hören und Sehen vorgestellt werden sollen.
Die Möglichkeit der Integration multimodaler Sinnesreize in sinnvolle Einheiten bietet uns viele Vorteile, beispielsweise die verbesserte Verständlichkeit von Sprache. Durch die enorme Selektivität unseres Gehörsinns ist es möglich, einer Stimme auch in einer lauten Umgebung aufmerksam zu folgen. Sieht man aber gleichzeitig die Gesichts- und Lippenbewegungen der sprechenden Person, wird das Verständnis ungemein gesteigert. Bei der multimodalen Integration wird also die Wahrnehmung in einem Sinnesgebiet durch die Wahrnehmung in einem anderen beeinflusst, da die beiden Bestandteile in einer widerspruchsfreien Interpretation integriert werden. Die Verknüpfung visueller und auditiver Sinnesreize erfolgt jedoch nicht nur, wie lange Zeit angenommen, durch mentale Konstruktion; es wurde gezeigt, dass die verschiedenen Sinnesreize bereits auf neuronaler Ebene in sogenannten multimodalen Neuronen[5] konvergieren. Multimodale Integration ereignet sich somit teilweise schon auf der untersten Wahrnehmungsebene, manchmal sogar noch vor der Objekterkennung.
Im Gegensatz zur genuinen Synästhesie, die als absolut[6] gilt, ist die multimodale Integration vom jeweiligen Kontext abhängig: Liefert ein Sinn zu wenig oder unklare Informationen, so treten andere Sinne als Korrektiv auf – bei Verdunklung der Umgebung wird etwa die auditive Wahrnehmung für die räumliche Orientierung wichtiger. Unabhängig von der Modalität dominiert in der jeweiligen Situation der verlässlichste Stimulus alle anderen. In der Bewertung der Verlässlichkeit fließen natürlich auch Faktoren wie Aufmerksamkeit, Erfahrung, Motivation und Vorwissen ein, was verdeutlicht, dass multimodale Integration nicht auf die Vorgänge in multimodalen Neuronen reduziert werden kann. Der Schlüssel zu einer stabilen Wahrnehmung ist jedenfalls die effiziente Kombination und Integration von Informationen unterschiedlicher Modalitäten.
Mit multisensueller Wahrnehmung ist zunächst die fundamentale Frage verbunden, unter welchen Umständen wir qualitativ unterschiedliche Sinnesreize als von einer gemeinsamen Quelle ausgehend oder zu verschiedenen Objekten zugehörig empfinden. Als Lösung dieser Frage wurden zwei sehr einfache Regeln identifiziert: Räumliche Nähe (Raumregel) und gemeinsames zeitliches Auftreten (Zeitregel) sind für die Integration von Reizen unterschiedlicher Modalität ausschlaggebend, wobei eine unscharfe Erfüllung dieser Bedingungen bereits ausreichend ist.[7] Dies ist insofern schlüssig, da absolute Gleichzeitigkeit schon allein wegen der unterschiedlichen Ausbreitungs- und Wahrnehmungsgeschwindigkeiten von Licht und Ton niemals möglich ist. Relative Nähe und Gleichzeitigkeit (Synchronizität) sind also elementare Voraussetzung der Integration akustischer und visueller Informationen. So wurde etwa experimentell gezeigt, dass Sprache bis zu 250 ms hinter dem visuellen Äquivalent, also den Lippenbewegungen, zurückfallen kann, bevor eine Ungleichzeitigkeit bemerkt wird. Wenn aber die Sprache den Lippenbewegungen vorauseilt, wird das Auseinanderlaufen schneller bemerkt – analog zur physikalischen Realität, da uns Schall immer nach dem Licht erreicht. Die teilweise verblüffenden Effekte, die bei der Synthese widersprüchlicher Sinnesreize unterschiedlicher Modalität auftreten – etwa die Tatsache, dass wir die Stimme einer Bauchrednerpuppe als von der Puppe ausgehend wahrnehmen – werden als Cross-Modal Illusions bezeichnet.
Es stellt sich nun die Frage, anhand welcher Mechanismen multimodale Integration zu einer verbesserten Wahrnehmung[8] führt. Stein et al.[9] berichten von einem Experiment, in dem die Ansprechempfindlichkeit individueller multimodaler Neuronen getestet wurde. Die Reaktion auf den bimodalen Reiz (Lichtblitz plus Piepston) entsprach in etwa der Summe (additiv) der Reaktionen auf die unimodalen Reizkomponenten. Analog zur Raum- und Zeitregel wurde auch ein enger Zusammenhang zwischen räumlicher und zeitlicher Koinzidenz auf neuronaler Basis bestätigt: So war die Reaktion auf räumlich disparate Reize geringer als die Summe der beiden Stimuli alleine (subadditiv), was einer Abschwächung der Empfindung entspricht. Stein & Meredith[10] konnten überdies bei relativ schwachen, aber koinzidenten bimodalen Reizen besonders starke (superadditiv) Effekte nachweisen. Durch bimodale Reize ausgelöste Reaktionen unterscheiden sich also schon auf neuronaler Ebene von den modalspezifischen Reaktionskomponenten, was die wahrnehmungsintensivierende Wirkung von Bild-Ton-Kombinationen zum Teil erklärt. Die beschriebenen Phänomene sind wohl die neurologische Grundlage der programmatischen Feststellung Michel Chions: We never see the same thing when we also hear; we don‘t hear the same thing when we see as well.[11]
Neben den modalen Qualitäten, die jeweils exklusiv für nur einen Sinn auftreten (zum Beispiel Tonhöhe für den Gehörsinn, Farbe für den Gesichtssinn) gibt es auch amodale (oder intersensorielle[12]) Qualitäten, die über mehrere Sinne hinweg wahrzunehmen sind. Der Psychologe Heinz Werner hat sich schon in den 1960er Jahren eingehend mit diesen Phänomenen beschäftigt: Wenn wir sagen, dass ein Ton stark oder schwach, dass ein Druck stark oder schwach ist, so meinen wir in allen diesen Fällen zweifellos eine Eigenschaft, die in allen diesen Sinnesgebieten die gleiche ist. Neuere Forschungen haben nun ergeben, dass es zweifellos viel mehr Eigenschaften gibt, die gleich der Intensität als intersensoriell zu bezeichnen sind, als es die ältere Psychologie angenommen hat. [13] Werner listet folgende Eigenschaften auf, mit denen es möglich ist, Analogien über die Sinnesgrenzen hinweg zu bilden: Intensität, Helligkeit, Volumen, Dichte und Rauheit – laut Michel Chion stehen diese und weitere amodale Qualitäten sogar im Zentrum unserer Wahrnehmung.[14]
Anhand dieser Dimensionen ist es möglich, Sinneseindrücke verschiedenster Modalitäten miteinander in Beziehung zu bringen, also intermodale Analogien zu entwerfen. Der eingeleitete Vorgang erfolgt im Gegensatz zur multimodalen Integration bewusst und aktiv, da nach einem Vergleichskriterium gesucht wird, das meist in einer der amodalen Dimensionen gefunden wird. So kann zum Beispiel die Frage, welcher Ton zu einer Farbe passt, über die Dimension Helligkeit entschieden werden. Die Bildung derartiger Analogien wird vom Kontext beeinflusst, sind doch etwa die Farbe oder die Lautheit eines Objektes keine absoluten Werte, sondern immer nur in Relation zur Umgebung zu bewerten. Intermodale Analogien weisen von Person zu Person tendenziell gesetzmäßige Züge auf (kleine interpersonale Varianz), während synästhetische Zuordnungen sehr unterschiedlich ausfallen (große interpersonale Varianz). Insgesamt scheinen die Dimensionen Helligkeit und Intensität bei der Bildung von intermodalen Analogien von zentraler Bedeutung zu sein.[15]
Der Psychologe Albert Wellek hat ähnlichen Zusammenhängen schon in den 1920er Jahren nachgespürt. Er konnte durch experimentelle Überprüfung eine Liste von sechs Zuordnungen aufstellen (Ursynästhesien), die seiner Meinung nach von allen Völkern zu allen Zeiten nachvollziehbar und somit in der menschlichen Wahrnehmung fest verankert seien (dünne Formen entsprechen hohen Tönen, dicke Formen entsprechen tiefen Tönen und so weiter). Die historisch belegbare Allgemeinmenschlichkeit dieser einfachsten Sinnesparallelen geht soweit, dass jedermann noch heute alle sechs Entsprechungen wenigstens in einer der angegebenen Formen gültig und verständlich finden wird.[16] Auch unsere westliche Notenschrift steht in deutlicher Übereinstimmung mit diesen Ursynästhesien, da zum Beispiel die Tonhöhe in der visuellen Analogie hoch – tief dargestellt wird, was für uns intuitiv Sinn macht.
Die hier angeführten Prinzipien der multimodalen Integration und der intermodalen Analogie sind natürlich nur zwei Elemente im Zusammenwirken von Hören und Sehen. Es sei daran erinnert, dass sich unsere Wahrnehmung vor allem durch die komplexe Interaktion aller Sinne in zahlreichen voneinander unabhängigen Prozessen auf unterschiedlichen Ebenen und durch massive Parallelverarbeitung auszeichnet. Auch wenn wir, trotz der wertvollen Beiträge von Neurologie, Physiologie, Psychologie, Soziologie[17] etc. bis heute nur einen kleinen Teil dieser Zusammenhänge verstehen, wird nur selten der Versuch unternommen, es unserer Wahrnehmung gleichzutun und die Informationen unterschiedlicher Stränge in ein stimmiges Gesamtbild zu integrieren. Im Gegenteil wird in der Literatur oft relativ undifferenziert von Synästhesie gesprochen, sobald das Zusammenspiel der Sinne thematisiert wird. Mit diesem Beitrag soll angeregt werden, zumindest genuine Synästhesie, multimodale Integration und intermodale Analogie zu differenzieren, wobei auf assoziative, symbolische und metaphorische Formen der Verknüpfung zwischen den Sinnen nicht weiter eingegangen werden konnte. Diesbezüglich sei auf die Arbeit von Michael Haverkamp verwiesen, der versucht, mit seinem Modell der Verknüpfungsebenen spezifische Mechanismen der Verbindung zwischen unterschiedlichen Sinnesmodalitäten zu systematisieren und speziell für ein synästhetisches Design[18] fruchtbar zu machen. Dieses Modell bietet einen Ansatz dafür, die Reflexion der menschlichen Wahrnehmung auf ein komplexeres Niveau zu heben.
[1] Vgl. Michael Giesecke, Die Entdeckung der kommunikativen Welt, Frankfurt/Main 2007, S. 240ff.
[2] So, overall, in a first attempt to an audiovisual message, the eye is more spatially adept, and the ear more temporally adept., Michel Chion, Audio-Vision. Sound on Screen, New York-Chichester 1994, S. 11.
[3] Barry Stein u. a., »Crossmodal Spatial Interactions in Subcortical and Cortical Circuits«, in: Jon Driver und Charles Spence (Hg.), Crossmodal Space and Crossmodal Attention, Oxford–New York 2004, S. 25–50.
[4] Susanne Binas, »Audio-Visionen als notwendige Konsequenz des präsentablen ›common digit‹. Einige Gedanken zwischen musikästhetischer Reflexion und Veranstaltungsalltag«, in: Sandro Droschl, Christian Höller, Harald Wiltsche (Hg.), Techno-Visionen. Neue Sounds, neue Bildräume, Wien–Bozen–Graz 2005, S. 112–120.
[5] Barry Stein, Alex Meredith, The Merging of the Senses, Cambridge 1993.
[6] Vgl. Klaus-Ernst Behne, »Wirkungen von Musik«, in: S. Helms, R. Schneider, R. Weber (Hg.), Kompendium der Musikpädagogik, Kassel 1995, S. 281-332.
[7] Die Zeitregel wird etwa im Sound-Design exzessiv ausgenutzt, wenn Bilder, die zwar mit faktisch falschen Tönen gekoppelt sind, in unserer Wahrnehmung zu stimmigen Eindrücken synthetisiert werden.
[8] [Converging multisensory information] add depth and complexity to our sensory experiences and, as will be shown below, speed and enhance the accuracy of our judgements of environmental events in a manner that could not have been achieved using only independent channels of sensory information. Barry Stein u. a., »Crossmodal Spatial Interactions in Subcortical and Cortical Circuits«, in: Jon Driver und Charles Spence (Hg.), Crossmodal Space and Crossmodal Attention, Oxford–New York 2004, S. 25–50.
[9] Stein u. a., »Crossmodal Spatial Interactions«, 2004, S. 25–50.
[10] Barry Stein und Alex Meredith, The Merging of the Senses, Cambridge 1993.
[11] Michel Chion, Audio-Vision. Sound on Screen, New York–Chichester, 1994, S. XXV.
[12] Nach Einschätzung des Autors werden die Begriffe amodal und intersensoriell in der Literatur gleich verwendet.
[13] Heinz Werner, »Intermodale Qualitäten (Synästhesien)«, in: Metzger, Wolfgang (Hg.), Handbuch der Psychologie. Göttingen–Hogrefe, 1965, S. 278–303.
[14] Vgl. Michel Chion, Audio-Vision. Sound on Screen, S. 137.
[15] Bei der Verknüpfung von Tonhöhen mit Farbwerten über die Dimension Helligkeit handelt es sich wohl um die einzige sinnstiftende Analogiebildung zwischen diesen beiden Domänen. Ein bekanntes Verfahren, bei dem die Teilnehmer versuchen, unterschiedliche Sinnesbereiche über die Dimension Intensität zu korrelieren, ist das sogenannte Cross-Modality-Matching.
[16] Albert Wellek, »Die Farbe-Ton-Forschung und ihr erster Kongreß«, in: Zeitschrift für Musikwissenschaft, 9/1927, 1927, S. 576–584.
[17] Auf die enorme Bedeutung sozio-kultureller Faktoren für die Prozesse der Wahrnehmung sei hier beispielhaft mit einem Zitat von Thomas Kuhn verwiesen. Was Wissenschafter wahrnehmen und wie sie wahrnehmen, hängt immer vom Paradigma ab, in dem sie operieren: What is built into the neural process that transforms stimuli to sensations has the following characteristics: it has been transmitted through education; it has, by trial, been found more effective than its historical competitors in a group’s current environment; and, finally, it is subject to change both through further education and through the discovery of misfits with the environment. Thomas Kuhn, The Structure of Scientific Revolutions, Chicago 1970, S. 196.
[18] Michael Haverkamp, Synästhetisches Design. Kreative Produktentwicklung für alle Sinne, München–Wien 2009.