4 Die Raum- und Zeitregel

Mit multisensueller Wahrnehmung ist zunächst die fundamentale Frage verbunden, unter welchen Umständen wir qualitativ unterschiedliche Sinnesreize als von einer gemeinsamen Quelle ausgehend oder zu verschiedenen Objekten zugehörig empfinden. Als Lösung dieser Frage wurden zwei sehr einfache Regeln identifiziert: Räumliche Nähe (Raumregel) und gemeinsames zeitliches Auftreten (Zeitregel) sind für die Integration von Reizen unterschiedlicher Modalität ausschlaggebend, wobei eine unscharfe Erfüllung dieser Bedingungen bereits ausreichend ist.^[7] Dies ist insofern schlüssig, da absolute Gleichzeitigkeit schon allein wegen der unterschiedlichen Ausbreitungs- und Wahrnehmungsgeschwindigkeiten von Licht und Ton niemals möglich ist. Relative Nähe und Gleichzeitigkeit (Synchronizität) sind also elementare Voraussetzung der Integration akustischer und visueller Informationen. So wurde etwa experimentell gezeigt, dass Sprache bis zu 250 ms hinter dem visuellen Äquivalent, also den Lippenbewegungen, zurückfallen kann, bevor eine Ungleichzeitigkeit bemerkt wird. Wenn aber die Sprache den Lippenbewegungen vorauseilt, wird das Auseinanderlaufen schneller bemerkt – analog zur physikalischen Realität, da uns Schall immer nach dem Licht erreicht. Die teilweise verblüffenden Effekte, die bei der Synthese widersprüchlicher Sinnesreize unterschiedlicher Modalität auftreten – etwa die Tatsache, dass wir die Stimme einer Bauchrednerpuppe als von der Puppe ausgehend wahrnehmen – werden als Cross-Modal Illusions bezeichnet.