Unstrittig sind Medienangebote zunehmend multimodal ausgerichtet. Auch wenn vermutlich jede Form der (Medien-)Kommunikation immer schon multimodal verfasst gewesen ist, gibt es bislang aber nur wenige umfassende Untersuchungen zur Funktion einer möglichst breit gefächerten Multimodalität der gegenwärtigen Medienkultur(en). Hierzu ist es nötig, nicht nur die unterschiedlichen semiotischen Modalitäten der Kommunikation, allen voran die ikonischen bzw. visuellen Komponenten, als gleichberechtigte Aspekte wissenschaftlich ernst zu nehmen. Darüber hinaus gilt es, sehr viel elementarer die unterschiedlichen Dimensionen von Multimodalität, ihre jeweiligen Funktionen und medialen Kombinationen grundlegender zu verstehen.

Das Konzept der Multimodalität wurde explizit vor allem im Rahmen der linguistischen Diskursanalyse und im Kontext von Forschungen zur Medienkompetenz entwickelt (vgl. z.B. Bateman 2008; Kress/van Leeuwen 2001). In den letzten Jahren hat es zunehmend Eingang in die Literatur- und Medienwissenschaft gefunden (vgl. z.B. Elleström 2010; Gibbons 2012). Von diesen und weiteren Forschungen ausgehend möchte ich ein integratives Verständnis von Multimodalität entwickeln, das nicht mehr isoliert nach den adressierten Sinnen, den eingesetzten semiotischen Ressourcen oder auch nach spezifischen Medien oder spezifischen Aspekten fragt, sondern nach der Kombination unterschiedlicher Modalitätsdimensionen innerhalb komplexer medialer Arrangements. Dieser Perspektivenwechsel soll vier miteinander zusammenhängende Dimensionen von Multimodalität verbinden: perzeptuelle Multimodalität, semiotische Multimodalität, referentielle Multimodalität und partizipatorische Multimodalität. In ihrer Verbindung verantworten sie die jeweilige Gestalt und Wirkung heterogener medialer Artefakte.

 

Literatur (Auswahl)

  • Bateman, John (2008): Multimodality and Genre: A Foundation for the Systematic Analysis of Multimodal Documents. Basingstoke: Palgrave Macmillan.
  • Elleström, Lars (2010): „The Modalities of Media: A Model for Understanding Intermedial Relations.“ In: Lars Elleström (Hg.): Media Borders, Multimodality and Intermediality. Basingstoke: Palgrave Macmillan. S. 11-50.
  • Gibbons, Alison (2012): Multimodality, Cognition, and Experimental Literature. London: Routledge.
  • Kress, Gunther/Theo van Leeuwen (2001): Multimodal Discourse: The Modes and Media of Contemporary Communication. London: Arnold.