Danksagung 4

1 Einleitung 6

2 Algorithmisierung der Klangerzeugung: Problemstellungen 10

2.1 Algorithmische Klanggenerierung: Der Computer als Musikinstrument 10

2.2 Informatisierung und Algorithmisierung als Entkörperlichung? 20

2.2.1 Informatisierung: Entmaterialisierung 20

2.2.2 Algorithmisierung: Paradigmen nicht-interaktiver Berechnung (computation) 22

2.2.3 Der kognitionswissenschaftliche Symbolbegriff: Desemantisierung und Entmaterialisierung des symbolischen Zeichens (Symbols) 25

2.2.4 Informatisierung und Algorithmisierung: Entkörperlichung 29

2.3 Verschwinden des Körperlichen in digitalen Musikpraxen 31

3 Körpervermittelte algorithmische Klanggenerierung und -verarbeitung 35

3.1 Entstehung körpervermittelter interaktiver Musik- und Medienperformances 35

3.1.1 Gestenbasierte Interaktive Musik unter Einsatz von neuartigen Musikinterfaces 35

3.1.2 Gestenbasierte Interaktive Musik unter Einsatz von musikalischen affective wearables 41

3.1.3 Computergestützte Tanz-Musik-Interaktion 47

3.1.4 Robotic Music Performances 53

3.1.5 Interaktive Klanginstallation und -skulptur 58

3.1.6 Artificial Life Art 68

3.2 Vorläufer der Systeme und Aufführungsformen körpervermittelter interaktiver Musik- und Medienperformances 73

3.2.1 Vorläufer gestenbasierter Musikinterfaces 73

3.2.1.1 Das Theremin und das Theremincello 73

3.2.1.2 Berührungsbasierte elektronische Musikinstrumente am STEIM 77

3.2.2 Vorläufer von Robotic Music Performances 82

3.2.3 Vorläufer computergestützter Tanz-Musik-Interaktion 84

3.2.3.1 Das Terpsitone: Vorläufer-Interface für Tanz-Musik-Interaktion 84

3.2.3.2 Klangwände als Interfaces für Tanz-Musik-Interaktion 86

3.2.3.3 Variations V (John Cage/Merce Cunningham) 87

3.2.4 Vorläufer digital-interaktiver Klangskulpturen und -installationen: Kybernetische Klangskulpturen und -installationen 89

3.3 Überblick über die Geschichte interaktiver Musiksysteme 93

3.3.1 Analog/digitale Hybridsysteme 93

3.3.2 Digitale interaktive Musiksysteme 98

3.3.3 Software für interaktive Komposition und Improvisation 100

3.3.3.1 Max/MSP 100

3.3.3.2 HMSL (Hierarchical Music Specification Language) 103

3.3.3.3 Interactor 104

3.3.3.4 M und Jam Factory 105

3.3.3.5 Kyma 108

3.3.3.6 Cypher 110

3.3.3.7 RTCPM (Real-Time Concurrent PascalMusic) 113

3.3.4 Entwicklung der Verfahren interaktiver Musiksysteme in Verbindung mit künstlerisch-technologischen Problemstellungen 115

3.3.4.1 Score-Following-Verfahren 116

3.3.4.2 Körpervermittelte Verfahren 118

3.4 Techniken der Einbeziehung des Körperlichen in algorithmische Klanggenerierung 125

3.4.1 Maschineninterfaces 125

3.4.2 Sensortechnologie 127

3.4.3 Die Motion-Capture- und Motion-Tracking-Technik 142

3.4.4 Das gesture mapping 160

3.4.5 Aktortechnologie 175

3.5 Künstlerisch-musikalische und technologische Diskurse über die Funktion der Inszenierungen des Körperlichen in interaktiven Musik- und Medienperformances 193

3.5.1 Körpermotorische Steuerung des Klanggenerierungsprozesses als essentieller Bestandteil eines Musikinstrumentes 194

3.5.2 Verstärkung (musikalischer) Expressivität in digitalen Musikpraxen 202

3.5.2.1 Multimodalität und ihr Verhältnis zur musikalischen Expressivität 202

3.5.2.2 Instrumentale Expressivität 206

3.5.3 Erweiterung körpermotorischer Steuerungsdimensionen durch neue Technologien 211

3.5.3.1 Erweiterte Musikinstrumente („augmented musical instruments“) 211

3.5.3.2 Roboter als Instrumentalisten 221

3.5.4 Ausweitung körperinnerer Prozesse 224

3.5.4.1 Biofeedback-Performances und -installationen sowie Nutzung von affective wearables 224

3.5.4.2 Körperperformances: Stelarc ehemals Stelios Arcadiou 229

3.5.5 Konstruktion des Körperlichen in virtuellen Umgebungen und Realitäten 231

3.5.5.1 Immersive Umgebungen: Installationen und Performances 232

3.5.5.2 Performative Biofeedback-Installationen 237

3.5.6 Embodiment: Die Einbeziehung des Körperlichen? 242

4 Diskurse zum embodiment 243

4.1 Kulturwissenschaftliche und medientheoretische Körperdiskurse 243

4.1.1 Der Körper als Ding im Diskurs über Medien als Ausweitung und Erweiterung des Körperlichen 243

4.1.2 Der Körper als Konstrukt im poststrukturalistischen Körperdiskurs und im Diskurs über die Entkörperlichung im Cyberspace 245

4.1.3 Verkörperter (virtueller) Körper in technologisch vermittelten und modellierten Umgebungen 247

4.2 Das Konzept des embodiment in der Phänomenologie Maurice Merleau-Pontys 254

4.3 Neuere kognitionswissenschaftliche Diskurse zum embodiment 257

4.3.1 Ansätze der embodied cognition in Abgrenzung vom Kognitivismus und Konnektionismus 257

4.3.2 Ausdifferenzierte Ansätze der embodied cognition 263

4.3.2.1 Indexikalisch-deiktische Repräsentation im Rahmen des Interaktionismus 263

4.3.2.2 Ansätze zur interaktionistischen Robotik im Rahmen einer verhaltensorientierten Künstlichen Intelligenz 267

4.3.2.3 Konzepte des embodiment im Verhältnis zur Situiertheit in der verhaltensbasierten Robotik 269

4.3.2.4 Neurowissenschaftliche Befunde zur Kopplung von Aktion und Perzeption 272

4.3.3 Kognitionswissenschaftlicher Diskurse zum embodiment: Ein Resümee 276

4.4 Kulturwissenschaftliche Medientheorien zum embodiment 277

4.4.1 Medialität – ein nicht-repräsentationalistisches kulturwissenschaftliches Paradigma 277

4.4.2 Medialität der Mentalität: die „Spurtheorie des Geistes“ 279

4.4.3 Theorien der Performativität 283

4.5 Embodiment: Resümee 293

5 Strategien des embodiment in interaktiven Musik- und Medienperformances 295
5.1 Doppeltes Feedback 297

5.1.1 Materialisierung und Versinnlichung der Interfaces: Die durch die Taktilität vermittelte Widerständigkeit physikalischer Interfaces 297

5.1.2 Greifbare (tangible) Interfaces 302

5.1.3 Modellierung des haptischen Feedbacks 305

5.1.4 Kopplung „musizierender“ und klangausgebender Körper 316

5.2 Dynamische Interaktion 326

5.2.1 Verschiebung der Grenzen zwischen körperinneren Zuständen und beobachtbaren Körperaktivitäten 326

5.2.2 Markiertheit des Körperlichen in der Nutzung immersiver Interfaces 327

5.2.3 Der stetige Wechsel von Aktivität und Passivität in der Abfolge von Körper- und Klangbewegungen 330

5.2.4 Körperbewusste Immersion in virtuelle Welten 332

5.2.5 Interaktive Emergenz 335

5.2.6 Imitation und Synchronisation 338

6 Resümee und Ausblick 345

Literaturliste 351

Webliographie 403