Esmeralda Conde Ruiz – Empfindsame Ohren und unempfindliche Infrastrukturen. Teil I

Ein Gespräch mit Michael Klipphahn-Karge | Bereich: Interviews

Das Interview wurde im Original in englischer Sprache geführt und bereits in w/k veröffentlicht.

Übersicht: Von April bis Oktober 2022 war die international bekannte Komponistin, Dirigentin und Künstlerin Esmeralda Conde Ruiz (*1980/Spanien, lebt in Großbritannien) zu Gast im Schaufler Lab@TU Dresden. Während ihres Aufenthalts arbeitete sie mit Wissenschaftler*innen der TU Dresden (TUD) sowie mit Expert*innen anderer Institutionen zusammen und erforschte Ideen im Zusammenhang mit dem Leitthema des Labs Künstliche Intelligenz als Faktor und Folge gesellschaftlichen und kulturellen Wandels. Unser Redakteur Michael Klipphahn-Karge, derzeit selbst Stipendiat des Schaufler Kolleg @TU Dresden und Kunstwissenschaftler, hat Conde Ruiz zu ihrer Residenz in Dresden befragt. 

Esmeralda Conde Ruiz, Sie waren von April bis Oktober 2022 Artist-in-Residence am Schaufler Lab@TU Dresden. Dort arbeiteten Sie mit Geistes- und Sozialwissenschaftler*innen bzw. diese mit den Artists-in-Residence im Allgemeinen zusammen, um Systeme der Künstlichen Intelligenz (KI) zu untersuchen und zu fragen, welche gesellschaftlichen Veränderungen die damit verbundenen Technologien mit sich bringen und wie diese Prozesse verstanden und bewertet werden können. Darauf aufbauend wird unser Gespräch beleuchten, wie die Zusammenarbeit zwischen Ihnen als interdisziplinär arbeitender Künstlerin und den anderen Akteur*innen mit unterschiedlichen akademischen Hintergründen organisiert wurde.
Wie lief Ihr Bewerbungsprozess für die Residenz ab? Mit welchen Ideen und Plänen haben Sie sich beworben? Und was wurde von Ihnen als Artist-in-Residence in Dresden erwartet? 
Vor diesem Aufenthalt hatte ich keine Erfahrung in der Arbeit mit KI. Ich habe mich schon immer für neue Technologien interessiert und dafür, welche neuen Möglichkeiten diese für Künstler*innen bieten können. Daher war die Idee, mit KI in Zusammenarbeit mit Expert*innen zu experimentieren, sehr reizvoll für mich. Ich war neugierig darauf, meine ersten Ideen zu diskutieren, anstatt mit einer fertigen Projektidee aufzuschlagen. Aus diesem Grund habe ich mich mit einem Vorschlag für einen KI-Chor beworben. Dieser Vorschlag bestand aus drei Hauptfragen, die es zu untersuchen galt: 

• Warum einen KI-Chor gründen? 
• Wer würde davon profitieren? 
• Wie würde sich das Ergebnis anhören? 

Eine unabhängige Jury wählte aus verschiedenen Bewerbungen aus und anschließend führte ich ein zusätzliches Videointerview mit Kirsten Vincenz (Direktorin der Kustodie der TUD und Sprecherin des Schaufler Lab @TU Dresden) und Gwendolin Kremer (Kuratorin des Kunstbesitzes der TUD und verantwortlich für die Schaufler Residency@TU Dresden) über meine Methoden, aber auch über meinen Umgang mit Misserfolgen. 
Das Team des Labs hoffte, dass ich ein Teil des Campus werden und produktiv mit den Wissenschaftler*innen des Schaufler Kolleg@TU Dresden arbeiten könnte. Kurz nach der öffentlichen Bekanntgabe meines Aufenthalts begann Gwendolin Kremer, Online-Treffen mit Professor*innen der TUD für mich zu organisieren.
Einerseits gab es also die Erwartung, dass ich mir während der sechs Monate Zeit nehmen würde, um so viele Forscher*innen wie möglich zu treffen. Andererseits wurde von mir weiterhin künstlerisches Experimentieren gewünscht. Während der sechs Monate wurde mir offeriert, regelmäßig an Konferenzen und Universitätsveranstaltungen teilzunehmen, so etwa am 5. Erweiterten Fachtag Bildende Kunst Sachsen und auch an universitätsinternen Workshops und Konferenzen. Dies gipfelte in einem eigenen Symposium am Ende meiner Zeit in Dresden mit dem Titel Zukunftsmusik. What the future might sound like. 

Jetzt, wo die sechs Monate vorbei sind, gehen die Gespräche weiter, und wir planen eine gemeinsame Ausstellung, sodass es in dieser Hinsicht viel mehr als nur ein Aufenthalt ist. 

Welche Kooperationen wurden angeboten, welche Netzwerke gibt es? Und wie war es, als Künstlerin an einer Universität zu arbeiten, die sich fast ausschließlich der Technik verschrieben hat beziehungsweise viele Bereiche ausgehend von technischen Standpunkten denkt? 
Mein Studio befand sich auf einer Wiese zwischen drei großen Gebäuden: der Sächsischen Landesbibliothek – Staats- und Universitätsbibliothek Dresden (SLUB) – einer riesigen Bibliothek –, dem Institut für Biologie, einem großen modernen Gebäude, und dem Otto-Mohr-Laboratorium, dem Institut für Betonbau. 
Stellen Sie sich vor: Sie sitzen in Ihrem Studio – das eine Art Glaskasten ist – beobachten Schmetterlinge und Kaninchen auf der umliegenden Wiese, während in der Nähe das Otto-Mohr-Laboratorium, eine der modernsten Prüfeinrichtungen der Bauindustrie in Deutschland, Tests mit verschiedenen Materialien durchführt. Der Kontrast hätte nicht größer sein können. Und da meine akustische Arbeit noch dazu unsichtbar ist, fand ich es sehr inspirierend, von den deutlich sichtbaren Architekturen der ansässigen Wissenschaftslandschaft umgeben zu sein. 

Für mich war es überraschend, dass sich die Verbindung zur Technologie, Technologieentwicklung und der quasi direkte visuelle Kontakt zur Forschung und ihren Einrichtungen trotz des Kontrasts nicht fremd anfühlte. Mir ist bewusst geworden, dass das sicherlich an meinen interdisziplinären Kooperationsprojekten liegt: Ich arbeite immer in verschiedenen, oft sehr diversen Bereichen. Im Gespräch mit den Professor*innen habe ich außerdem festgestellt, dass wir sehr ähnliche Ansätze haben, was das Experimentieren, Testen, die Arbeit mit Prototypen und das Besprechen von Gedanken und Ideen mit Kund*innen und Auftraggeber*innen angeht. Apropos: Was das Angebot von Kooperationen betrifft, hat Gwendolin Kremer die Professor*innen, die für meine künstlerische Praxis von Interesse waren, sorgfältig ausgewählt. In gewisser Weise war es wie ein Blind Date: Wo der Funke überspringt und wo die Möglichkeit einer Zusammenarbeit besteht, konnte ich erst durch das Kennenlernen herausfinden – eine clevere Methode, um in möglichst viele Forschungsrichtungen und -bereiche hineinzuschauen: Wer kommt für eine Zusammenarbeit in Frage, beziehungsweise wo ergeben sich produktive Synergien?
Im ersten Monat nahm ich an Treffen in der ganzen Stadt teil, was ein wunderbarer Einstieg in die Residenz und durch den vielen Input auch in so ein komplexes Thema wie KI war. Die Kustodie und die umfangreichen Bestände der Universitätssammlungen haben sich als wahre Goldgruben der Inspiration herausgestellt und deckten so verschiedene meiner Interessensgebiete ab. Ein Beispiel ist die Historische Akustisch-Phonetische Sammlung der TUD unter der Leitung des Sammlungsbeauftragten Professor Rüdiger Hoffmann. 

Welche Forschungsfragen haben Sie als Artist-in-Residence verfolgt? Welche Fragen ergaben sich zwischen Ihrer künstlerischen Praxis und der Forschung zu KI im Allgemeinen? Und welche Leerstellen taten sich auf, die Sie als produktiv erachteten? 
Meine Forschungsfragen haben sich während des Aufenthalts verändert und weiterentwickelt, was vom Schaufler Lab@TU Dresden in vollem Umfang unterstützt wurde. Meine anfängliche Hoffnung, mit einem KI-System zu arbeiten, das nicht-menschlich ist beziehungsweise ohne menschlichen Einfluss operiert und dann dieses System auf seine eigene Geräuschproduktion hin zu überprüfen, zerschlug sich allerdings schnell, als ich mehr über KI erfuhr und begriff, wie viele Menschen tatsächlich am Training solcher Systeme und Modelle beteiligt sind. Bei jedem Schritt dieses Prozesses lernte ich, dass es dabei immer eine Form von menschlicher Intelligenz braucht, die den Weg vorgibt oder den Fortschritt überwacht, und dass die involvierten Menschen häufig unter prekären Umständen arbeiten beziehungsweise auf Arbeit zugreifen, die unter derartigen Umständen geleistet wird. Damit ergab sich plötzlich ein anderes Szenario als das, was ich unbedarfterweise erwartet hatte.
Was blieb, war der Wunsch, einen Klang zu erforschen, den ich nicht selbst und mit Hilfe anderer menschlicher Stimmen erzeugen kann. Ich begann daher, über den Klang von Trainingsdaten nachzudenken. Diese Idee führte mich zu derjenigen Infrastruktur, die etwa für die künstliche Nachbildung kognitiver Infrastrukturen benötigt wird – auf die größte mikrotonale Geräuscherzeugung überhaupt: auf Rechenzentren. Meine Neugierde war geweckt, und das war der Ausgangspunkt, meine Forschung aus einer völlig anderen Perspektive zu betrachten. 
Ich begann, mehr über den kontinuierlichen Zyklus unserer Daten und den digitalen Raum, den sie einnehmen, nachzudenken. Meine Fragen konzentrierten sich auf die Klänge, die bei der Kommunikation über digitale Wege entstehen. Wie unterscheiden sich diese Klänge von tradierten Klangvorstellungen, wie differieren sie untereinander, und inwiefern sind sie im traditionellen Sinne rhythmisch oder musikalisch? Was sind die sowohl materiellen als auch metaphysischen Aufwendungen, die für digitale Kommunikationstechnologien nötig sind? Und wenn mittels Technologien versucht werden soll, menschlich zu klingen, was passiert im Umkehrschluss, wenn der Mensch versucht, technologische Sounds nachzubilden? 

Was sind Ihrer Meinung nach die wichtigen Erkenntnisse, die Sie durch die gemeinsame Arbeit mit verschiedenen Forscher*innen in Bezug auf Ihre Vorstellung im Kontext der KI gewonnen haben? 
Die Forscher*innen, mit denen ich zusammentraf, machten mich mit jenen Menschen bekannt, deren Arbeitsleistung hinter KI steht, und das führte mich wiederum zu der Erkenntnis, dass KI-Systeme in Wirklichkeit von Millionen schlecht bezahlter Arbeiter*innen – vornehmlich des globalen Südens – angetrieben werden. Damit verbunden sind das Training von Daten und die Ermittlung der Herkunft dieser Daten. Auch die Geschwindigkeit und die schiere Größe von Rechenzentren sowie ihr CO₂-Fußabdruck hatten einen tiefgreifenden Einfluss auf mich, ebenso wie die Tatsache, dass diese Seite der Industrie einer breiten Öffentlichkeit kaum bekannt ist. 
Das sind alles sehr große Themen, die von Forscher*innen und Journalist*innen derzeit analysiert und umfangreich öffentlich kontextualisiert werden, begleitet von einer ständigen Weiterentwicklung und Veränderung der kritisierten Technologien: ein Wettlauf zwischen Diskurs und Tech-Entwicklung. Diese Erkenntnisse haben es mir ermöglicht, einen Schritt zurückzutreten und die Verbindung zwischen Mensch und Technologie aus einem erweiterten Blickwinkel zu betrachten. Nachdem ich das Gesamtbild im Ansatz begriffen hatte, erschien es mir nicht mehr richtig, einfach nur KI zu verwenden, um ein Kunstwerk zu schaffen. Es sollte etwas entstehen, in dem die Klänge all dieser widersprüchlichen Verbindungen einen Echoraum erhalten. 

Welches Projekt haben Sie aufbauend auf diesen Erkenntnissen während Ihrer Zeit an der TUD verfolgt? 
Derzeit arbeite ich an einer audiovisuellen Langzeitgeschichte, die drei Pole vereint: Klänge digitaler Infrastrukturen, welche zur Datenspeicherung genutzt werden, denke ich mit Sounds von Menschen zusammen, die der Kommunikationstechnologie entlehnt sind; dieses Konglomerat ergänze ich durch visuelle Farbelemente. Das Projekt soll die Aufmerksamkeit auf die unsichtbare und kaum greifbare Welt digitaler Daten lenken und die Rolle und den Einfluss des Menschen in dieser sich ständig verändernden Realität hervorheben. Zu den Klängen, die das Werk inspiriert haben, gehören das Surren der Belüftungssysteme in den Rechenzentren sowie die isolierten mikrotonalen Geräusche, die von verschiedenen Datenverteilern, sogenannten Racks, von Supercomputern ausgehen. Ich hoffe, dass sich diese Töne im Laufe eines Musikstücks zu einem Chor aus Mensch und Maschine entwickeln – einem Chor, der Wörter summt, wiederholt und neu artikuliert. Ich füge dieser Kakophonie von Geräuschen synthetische Stimmen hinzu, die die Zuhörer*innen dazu bringen sollen, die Authentizität des Gehörten zu hinterfragen. Das Werk ist als Endlosschleife angelegt, die jene Klänge symbolisiert, die in Rechenzentren kontinuierlich erzeugt werden, etwa wenn Nutzer*innen aus verschiedenen Zeitzonen permanent ihre persönlichen Datenspeicher in privaten Netzwerken erweitern und so das Rechensystem zu ebenso permanenter, geräuschintensiver Arbeit anregen. Es ist zu hoffen, dass das Werk den kontinuierlichen Kreislauf und das Wachstum unserer Daten sowie des technologischen Raums, den sie einnehmen, ästhetisch verdeutlicht und kritisch hinterfragt. 

Welche Rolle spielten die Klänge, Schallemissionen und Geräusche, die durch mechanische Prozesse erzeugt werden? Ist dieser natürliche Klang einer Maschine für Sie bereits eine Art von Musik? 
Ja, manchmal. Es beeinflusst auf jeden Fall die Tonalität und den Klangcharakter, den ich damit erzeuge. Ich möchte gern eine Referenz benennen, die das verständlicher macht: Pauline Oliveros war Distinguished Research Professor of Music am Rensselaer Polytechnic Institute in Troy (NY/US) und Gründerin des Deep Listening Institute. Sie beschreibt Deep Listening als eine Art, auf jede erdenkliche Weise auf alles zu hören, was es zu hören gibt, egal, was man gerade tut. Ein solch intensives Zuhören schließt die Klänge des täglichen Lebens, der Natur, der eigenen Gedanken und auch Musik in all ihren Facetten mit ein. 
Wie Oliveros lasse ich mich stark vom Zuhören inspirieren. Nicht unbedingt vom Hören von Musik, sondern von Lauschen auf die Geräuschkulisse von Räumen, vom Fokussieren auf Raumklänge und auf den Widerhall, der für den jeweiligen Raum spezifisch ist – es erfolgt also eine Konzentration auf Klänge, die nicht musikalisch sein müssen. In gewisser Weise suche ich nach der Klangarchitektur eines Ortes. Töne sind daher oft Ausgangspunkt für meine Inspiration und entwickeln sich dann zu etwas Neuem.
Ein geschultes Ohr kann eine Tonalität wahrnehmen, etwa das Brummen eines Kühlschranks. Das Gehirn reagiert darauf, indem es diesen Sound als Hintergrundgeräusch einstuft und dann vergisst hinzuhören, indem es diese Geräusche einfach ausblendet. Aus diesem Grund höre ich mir genau diese Sounds besonders gerne an, denn ihre Struktur ist ungewöhnlich, wenn sie in den Vordergrund tritt: Töne, die von und aus der Technologie kommen, die Menschen nutzen und deren Klang Teil des täglichen Lebens ist und dem daher keine Aufmerksamkeit im Sinne von Musikalität geschenkt wird. Oder wie in diesem Fall: Geräusche, zu denen man regulär keinen Zugang hat, wie etwa die Geräusche aus einem Rechenzentrum. 
Der Besuch im Rechenzentrum des Zentrums für Informationsdienste und Hochleistungsrechnen (ZIH) der TUD fühlte sich für mich an wie die Aufführung eines speziell arrangierten Orchesters. Ein ganzes Gebäude zu erleben, das versucht, den Klang im Inneren zu (be-)halten, war für mich faszinierend. Es war klanglich ganz anders, als ich es mir vorgestellt hatte und völlig different von all den Klängen, die ich im Internet über Rechenzentren gehört hatte. Menschen werden dazu ermutigt, sich Daten als eine Wolke vorzustellen, als etwas Leichtes, Ephemeres und Natürliches, während es sich in Wirklichkeit um ein riesiges, lautes, schweres und schwitzendes Etwas handelt, das rund um die Uhr arbeitet. Und so klingt es auch: Wie ein Musikstück ohne Anfang und Ende. Es ist sowohl eine physische als auch eine akustische Erfahrung. Die Techniker*innen des Zentrums hören sogar einzelne Unterschiede in den Tönen und können so Probleme der Computer diagnostizieren, bevor das System ihnen mitteilt, dass etwas nicht in Ordnung ist, indem sie einfach auf den vertrauten Sound hören, der etwa von den vielen Racks ausgeht.
Am faszinierendsten waren für mich die Geräusche, die direkt von den riesigen Supercomputern kamen, jedes Rack hatte eine andere Frequenz und einen anderen Charakter. Manche waren statisch, manche dynamisch und in ständiger Veränderung begriffen. Besonders die menschliche Verbindung zu den Geräuschen war für mich ein erhellendes Moment: Das Rechenzentrum klang anders, wenn die Universität in den Semesterferien war. Dieser Unterschied war außergewöhnlich, weit mehr als ein laut und leise. 
Was ist nun aber der von Ihnen angesprochene natürliche Klang unserer Daten? Das Rechenzentrum ist an sich sicherlich nicht natürlich. Es ist ein Ort, der nicht für den Menschen gemacht ist, sondern für die Maschinen; also ein – zumindest für den Menschen – unnatürlicher Raum, obwohl er durch menschliches Zutun erst geschaffen wurde. Gleichwohl ist der Raum ein Instrument, dessen Klang ein natürliches Ergebnis unseres Nutzungsverhaltens ist. Darin sehe ich auch eine Art Sonifikation unserer menschlichen Aktivitäten und damit auch ein Abbild unserer neuen, technoaffinen Natur. 

Die Frage dieses natürlichen Klangs war für mich während meiner Forschung sehr wichtig. Und die Implementierung vorgefundener Sounds war für meinen Ansatz entscheidend. Denn ich wollte die klanglichen Qualitäten von KI und von Datenarchitekturen im Allgemeinen hören, erfassen und verstehen und keine menschliche Stimmen kopieren. Ich wollte vielmehr einen neuen Klang finden. In gewisser Weise habe ich ihn in diesen Maschinenklängen gefunden. 

Welche Rolle spielt die Musikalität solcher Klänge? Ist die Subtilität bestimmend für Ihren Umgang mit solchen diskreten – im Sinne von oftmals verborgenen – Vorgängen, die wir normalerweise weder hören, noch wirklich sehen können? 
Die Musikalität der Töne eines Rechenzentrums ist das, was mich wirklich beeindruckt hat. Mikrotonale Frequenzen sind eine völlig andere und oft fremd anmutende Klangwelt. Und ich bin daran interessiert, diese subtile menschlich-technische Kreation von Klang, die auch auf einer gegenseitigen Abhängigkeit basiert, tonal zu verstärken. Das ist im Ansatz sehr minimalistisch und erfordert ein unglaublich feines Gehör. Deshalb habe ich mich entschieden, in meiner Arbeit Klänge zu verstärken, die nicht dominant, sondern diskret sind, die also nicht unbedingt sofort gehört oder verstanden werden. Ich finde diese Klänge interessanter, da sie mehr Raum für Interpretation lassen: Was höre ich da?
Gleichwohl sind unsere Ohren sensitiver, als man denkt. Wenn man in einem westlichen Land aufgewachsen ist, ist man zumeist eine Art westlicher Tonalität gewohnt und kann diese wahrnehmen, auch wenn man nicht besonders musikalisch ist. Mir war klar, dass ich mein geplantes Stück partiell im Sinne dieser Tonalität anpassen und entsprechend musikalisch übersetzen muss, damit etwa das hiesige Publikum hören kann, was ich höre. Daher begann ich mit Stimmen zu experimentieren, die neben den Maschinen summten. Ich habe dafür auch Tests mit ausgebildeten Sänger*innen durchgeführt, und es war faszinierend zu erfahren, wie schwer es ihnen fiel, neben den Computern singend zu bestehen. Ich machte Experimente mit Sänger*innen, die versuchten, auf unterschiedliche Weise mitzusingen, indem ich mit Frequenzen und Längen als Folie für deren Gesang arbeitete. Das Ergebnis war eine Entdeckung: Es gibt keine Sprache, um zu beschreiben, wie man mit einem so konstruierten Maschinensound verschmilzt.

▷ Weiter zu Teil II

Beitragsbild über dem Text: Esmeralda Conde Ruiz (2022) in einem der Rechenzentren des Zentrums für Informationsdienste und Hochleistungsrechnen (ZIH) der TUD. Foto: André Wirsig/© Schaufler Lab@TU Dresden.

Zitierweise

Esmeralda Conde Ruiz und Michael Klipphahn-Karge (2023): Esmeralda Conde Ruiz – Empfindsame Ohren und unempfindliche Infrastrukturen. Teil I. w/k - Zwischen Wissenschaft & Kunst. https://doi.org/10.55597/d17820