04.05.2007 — Jeder Neuromusikologe kann ein Lied davon singen, auf welch komplexe Art Musik im menschlichen Hirn verarbeitet wird. Die experimentelle Erforschung auch nur einfacher Mechanismen gestaltet sich überaus aufwendig, für das Studium sinnesübergreifender Phänomene scheint der gegenwärtige Stand der Erkenntnisse noch nicht einmal die elementarsten Mittel bereitzustellen. Dass theoretische Überlegungen und Experimente dennoch interessante Aspekte der multimodalen Prozesse aufzeigen können, zeigt das Buch «Schnittmuster – Affektive Reaktionen auf variierte Bildschnitte bei Musikvideos» der Musikpsychologin Mirjam Schlemmer-James. Zugleich illustriert es aber auch die Einsicht, dass empirische Fleissarbeit ohne solide und präzise begriffliche Arbeit für ein derart ambitiöses Forschungsfeld kaum Perspektiven zu öffnen vermag.
Die Autorin referiert in einem ersten Teil der Arbeit zahlreiche Befunde der bisherigen Forschung, die zeigen, dass physikalische, physiologische und kognitive Faktoren in der multimodalen Reizverarbeitung eine Rolle spielen. Prinzipielle Überlegungen zur Physik reichen etwa bereits aus, um zur Einsicht zu gelangen, dass das Hirn akustische und optische Reizverarbeitung gar nicht starr koppeln kann. Die drastisch unterschiedliche Geschwindigkeit von Licht- und Schallwellen führt nämlich dazu, dass die Differenz zwischen dem Eintreffen schneller optischer und langsamer akustischer Reize immer grösser wird, je weiter ein Objekt vom Beobachter entfernt ist. Gerade umgekehrt verhält es sich bei der physiologischen Verarbeitung der Sinnesreize: Input vom Ohr wird vom Hirn schneller abgearbeitet als solcher vom Auge. Daraus resultiert ein sogenannter «Gleichzeitigkeitshorizont», der experimentell bestimmt werden kann und beim Menschen etwa zehn Meter beträgt: Ereignisse innerhalb des Horizonts werden akustisch schneller aufgenommen als optisch, solche ausserhalb erfasst das Auge schneller als das Ohr.
Auch Fragen danach, welche Sinneseindrücke stärker gewichtet werden, kann man experimentell nachgehen, wobei die Ergebnisse auf ein durchaus komplexes Verhältnis schliessen lassen. So führen einige Experimente zum Schluss, dass zwischen optischer und akustischer Wahrnehmung keine eindeutige Hierarchie beobachtet werden kann, andere wiederum scheinen darauf hinzudeuten, dass bei gleicher Intensität die visuelle Information die akustische dominiert.
Schlemmer-James referiert zwei gewichtige Modelle zur Frage, wie unterschiedliche Sinnesreize beim Betrachten von Filmen integriert werden. Da ist zum einen das «Congruence-Associations-Model» von Marshall & Cohen. Es besagt, dass «audiovisuelle zeitliche Kongruenz eine Aufmerksamkeit auf bestimmte visuelle Eigenschaften etabliert, auf die dann die semantische Bedeutung der Musik gelenkt wird» (35). Dem steht zum andern das «Shared Semantic Structural Search Model» von Boltz, Schulkind & Kantra entgegen. Es kommt zum Schluss, dass semantische Kongruenz zur Erinnerung audiovisueller Ereignisse eine bedeutende Rolle spielt. Wie weit die Modelle – wie die Autorin behauptet – konkurrieren, wäre noch genauer festzumachen.
Bei experimentellen Anordnungen zur Untersuchung solcher Integrationsleistungen spielen asynchron dargebotene Reize eine bedeutende Rolle: Akustische und optische Eindrücke werden den Versuchspersonen mehr oder weniger zeitlich versetzt dargeboten. Dabei stellt sich offenbar heraus, dass ein dem optischen Reiz vorauslaufender Ton bei der Integration eine bedeutendere Rolle spielt als ein nachfolgender. Auf einen fundamentalen kognitiven Unterschied geht die Autorin dabei allerdings nicht ein: Das Vorauslaufen eines Tones hat als physiologischer Reiz eine direkte physikalische Wirkung. Um die Wirkung nachlaufender akustischer Eregnisse erklären zu können, müssen allerdings Phänomene des Kurzzeitgedächtnisses ins Spiel gebracht werden, da der entsprechende Reiz nicht mehr als Aussensignal, sondern bloss noch als Erinnerung zur Verfügung steht. Ersteres ist demnach ein physiologisches, letzteres ein kognitives Phänomen.
Obwohl Schlemmer-James zahlreiche interessante Einzelbefunde solcher Art referiert, knüpft sie mit ihren eigenen Experimenten daran kaum an. Vielmehr greift sie praktisch unvermittelt auf ein noch kompliziertes Konzept zurück, nämlich dasjenige der emotionalen Bewertungen. Im Blick hat sie dabei den Konsum Jugendlicher von Musikvideos, respektive deren «affektive Reaktionen auf die verschiedenen zeitlichen Kombinationen visueller und auditiver Akzente» (81).
Für ihre Experimente geht sie von folgenden Hypothesen aus:
- Verschiebungen zwischen Ton und Bild haben einen Einfluss auf affektive Reaktionen der Probanden.
- Die Reaktionen unterscheiden sich für vorauslaufenden und nachfolgenden Ton.
- Die Bildinhalte zeigen einen Einfluss auf die Bewertungen der Clipausschnitte.
- Das musikalische Tempo wirkt sich auf die Bewertung der Ausschnitte aus.
- Die Anzahl der in einem Ausschnitt enthaltenen Schnitte zeigt einen Einfluss auf die Bewertung.
Zu der Vielfalt an Aspekten, die damit angeschnitten werden, kommt eine hohe Heterogenität der Stimuli – langsame bis schnelle sowie narrative und nicht-narrative Ausschnitte aus Videos unterschiedlicher Produzenten und unterschiedlicher Schnittfequenz bilden die Basis des experimentellen Materials. Ob dabei tatsächlich substantielle Resultate generiert werden, ist aus einem weiteren Grund fraglich: Bei der Untersuchung der Videoausschnitte stellt Schlemmer-James zwar fest, dass charakteristische Verschiebungen von Bild und Ton zu beobachten sind (199). Ob es sich dabei nicht bloss um irrelevante Artefakte handelt, ist aber kaum zu entscheiden.
Die Experimentatorin, die für ihre Untersuchungen 280 Schülerinnen und Schülern verschiedener Berliner Gymnasien Ausschnitte aus Musikvideos mit unterschiedlichen Verschiebungen zwischen Bild- und Tonspur vorführte und die Wirkungen mittels solide designten Fragebogen eruierte, kann denn angesichts der Faktorenvielfalt und der theoretischen Unschärfe der Hypothesen auch bloss zu eher vagen Schlussfolgerungen kommen – etwa, dass die Bewertungen der Reizverschiebungen «Parallelen zu den verschiedenen Toleranzen für die Entdeckung von Asynchronizität bei singulären Ereignissen im Gegensatz zu Wörtern und Sätzen» zeigt (200). Gar etwas hilflos mutet die Anregung für den täglichen Sendebetrieb von Musikvideos an. Das oft zu beobachtende leicht asynchrone Ausstrahlen von Musikvideos führe zweifelsohne zu geänderten affektiven Reaktionen. Nicht für alle Musikvideos habe das eine positive Wirkung, erklärt Schlemmer-James (202). (wb)
 |
Mirjam Schlemmer-James: Schnittmuster – Affektive Reaktionen auf variierte Bildschnitte bei Musikvideos, Villigst Perspektiven, Band 9, Lit Verlag Hamburg 2006, ISBN 3-8258-9570-X, bei Amazon kaufen