menu


Marcello Mercado


Bestiarium der Gedanken des 21. Jahrhunderts

Bestiary for the minds of the 21st Century: Genomic Opera

 

A data-mining, synesthetic, 3D-printed genetic opera


2016

 


2-channel video installation,  artist’s book, public audio interaction, sound installation

 

THE DIGITAL SYNESTHESIA GROUP

 

Primary sensory modalities: TOUCH, SIGHT, HEARING, KINESTHESIA

 

Fragmente von Tiergenomen, in Klänge umgewandelt, in visuell wahrnehmbare Muster übersetzt. Die Ausdehnungen und zeitlichen Abstände werden, nicht nur an der Oberfläche, sondern auch in dreidimensionalen Objekten hörbar. Geräusche in Datenpaketen als Skulpturen ausgedruckt, die in einer Notation als wellige Informationsstrukturen erfassbar sind. Es ist Musik, die man sehen und berühren kann.


Fragments of animal genomes transformed into sounds, translated into visually perceptible patterns. The expansions and time intervals become audible not only on the surface but also in three-dimensional objects. Noises in data packets are printed out as sculptures that can be recognized in a notation as wavy information structures. It is music that you can see and touch.


Fragmentos de genomas de animales transformados en sonidos y traducidos en patrones perceptibles visualmente. Las expansiones y los intervalos de tiempo se vuelven audibles no solo en la superficie sino también en objetos tridimensionales. Los ruidos son paquetes de datos que se imprimen como esculturas que se pueden reconocer en notaciones de estructuras de información onduladas. Es música que puedes ver y tocar.

 


 

 

1. Concept

We live in a biodiversity crisis: A daily massive loss of biological data led me to think in a genomic opera that could preserve/archive fragments of thousands of prokaryotic and eukaryotic genomes (like a noah ́s ark) that can be combined and transformed into musical notations in the form of 3D tactile printed objects.

It´s about a Data Mining process on Genomic Banks: Ensambl, Genomes server, Wormbase, Flybase, etc. translated/converted into plastic 3D Printed compressed data.

The aim of the art project is to create 3D-printed objects based on various mixed genomes, as well as to explore the possibilities of 3D-printing errors (glitches). Fragments of the genetic information of different types (mammals, insects, fungi, bacteria, etc.) are randomly mixed, and by means of algorithms transformed into audio files which then are converted into 3D-printed objects. These environment-friendly 3D-printing filaments, combined with glitches and incomplete 3D-printed remains, make up the core of the musical notations.

I researched the available genome databases like Ensambl, Genome, Wormbase, Flybase, etc. to mix and cut eukaryotic and prokaryotic genomes in random combinations. The nitrogenous bases (as the letters A, T, G, C) are read by a software that transforms text into audio files. These are transformed into 3D objects, which are again, are printed in plastic with a 3D printer and pasted onto paper as music notations. The generation of AUDIO and VIDEO through TACTILE actions involves audience participation: They The audience interacts in form ofby rubbing the 3D-printed objects with a piezoelectric microphone connected to a transductor to visualize new sounds. In parallel, each page of the opera is photographed and scanned with a sonogram software in order to be converted into sound archives.

Thus, the final performance of the opera is a combination of:
• 3D-plastic-printed genome-data-mining-instruments, live performed live by a musician rubbing the 3D printed objects with piezoelectric microphones,
• Recorded mixed genomes fragments,
• Sonogram audio files, and
• The score that instructs the performers during the entire duration of the piece throughout the four acts.

 

Primary sensory cross-modalities: TOUCH, VISION, AUDIO, PROPRIOCEPTION

Steps:

1. Recollection of multiple genomic sequences prokaryotic and eukaryotic

2. A Text to Speech software will read the multiple genomic sequences

    Transformation from TEXT to AUDIO FILES (Aprox. 10 hours audio)

    Primary sensory cross-modalities: VISION, AUDIO

3. Through algorithms the audio files will be transformed in 3D objects

    Transformation from AUDIO to 3D OBJECTS

    Primary sensory cross-modalities: VISION, AUDIO

4. The 3D objects will be printed with a 3D Printer.

    Transformation from 3D OBJECTS to multiple 3D (TACTILE) OBJECTS

    Primary sensory cross-modalities: TOUCH, VISION

5. The 3D printed objects will be pasted on music pentagram pages as 

    musical notations of a Partiture-Book

    3D (TACTILE) OBJECTS + 3D OBJECT (TOUCH)

    Primary sensory cross-modalities: TOUCH, VISION

6. The 3D printed objects will be rubbed with 2 piezoelectric microphones

    in order to generate new audio files.

    Transformation from 3D (TACTILE) OBJECTS to AUDIO. PUBLIC

    INTERACTION

    Primary sensory cross-modalities: TOUCH, VISION, AUDIO

7. Sounds recollections by a  H4N microphone

8. The new audio files will be collected by a SYNCHRONATOR device that 

    will enables to visualize the sounds.

    Transformation from AUDIO to IMAGE.

    Primary sensory cross-modalities: VISION, AUDIO

9. Sounds as VIDEO

    Transformation from AUDIO to VIDEO

    Primary sensory cross-modalities: VISION, AUDIO

 

2. VIDEO

 

 

 

PASSPORT VIMEO: 1663

 

 

3.

Marcello Mercado
Bestiarium der Gedanken des 21. Jahrhunderts

2015

(german)

2-Kanal Video Installation + Zeichnungen + Plastik 3D Skulpturen
Konzept:
Wir leben in einer Biodiversitätskrise: Alle 24 Stunden verschwinden zwischen 150 und 200 Arten - für immer.
Auf der einen Seite gibt es einen massiven Verlust an biologischen Daten; auf der anderen Seite, eröffnen die Weiterentwicklung von Biotechnologien enorme Möglichkeiten.
Ziel des Kunstprojekts ist es, 3D-Drucker Objekte auf Basis von verschiedenen vermischten Genomen zu erstellen, sowie die Möglichkeiten der 3D-Druckfehler (Glitches) zu erkunden.

Fragmente der genetischen Information von unterschiedlichen Arten (Säugetieren, Insekten, Pilze, Bakterien, usw) werden willkürlich gemischt und durch Algorithmen in Töne umgewandelt.

Die Audiodateien werden in 3D-Objekte umgesetzt.

Danach sollen die 3D-Objekte in einem 3D-Drucker gedruckt werden.

Dieser Prozess wird nicht existente Tiere (abstrakte Wolpertinger) und fehlerhafte Plastik 3Dprints (Glitches) produzieren.

Das Ergebnis soll eine 1-Kanal Videoinstallation (mit Produktionsdokumentation) und diverse 3D Skulpturen sein.

 


4.

Marcello Mercado
Bestiarium der Gedanken des 21. Jahrhunderts

Synästhetische, genetische Oper in 4 Akten

Die Musik ist vom Herrn Genmeister Marcello Mercado

2015

Personen:

Genbanker 1, 2, 3, 4, 5, 6, 7 und 8 ……………………Basssänger

Protein_id ……………………………………………………..Sopran

Adenylyltransferase ………………………………………..Sopran

Gene_desc …………………………………………………….Sopran

Eukaryotischen Genoms ………………………………….Basssänger

Prokaryotischen Genoms ………………………………..Tenöre

Bacillus subtilis aldolase ………………………………….Tenöre

Ribosomale RNA, tRNA und andere RNA …………….Countertenöre

Die Besetzung der Rollen ist nach Mercados thematischem Verzeichnis:

Prokaryotischen Genoms ………………..Sgre. Genbanker 1 und Sgra. Blast 2

Eukaryotischen Genoms …………………Sgre. Genbanker 2 und Sgre. Gebanker 3

Ribosomale RNA, tRNA und andere RNA …..Sgre. Genbanker 4, 5, 6, 7,und 8

Protein_id……………………………………………….Sigra. Proteasa und Sigra. Locus

Gene_desc …………………………………………….Sigra. Alkaline Phosphatase

Bacillus subtilis aldolase ………………………….Sgre. Bacillusmandini

Adenylyltransferase ……………Sigra. ADP-heptose synthase von Cyclohydrolase

Inhalt:

Ouvertüre

Akt 1:

Chor Locus 7267896

Terzett Locus 326123

Duett Locus 424371

Chor Locus 037232

Arie Locus 70076

Akt 2:

3D Recitative und Arie

Duett (Idyll aconitate hydrase)

Chor (Prokaryotische Chor)

Marsch (Erlöschen!!!)

Sextett (Flammen!!! Salve Regina!!!)

Akt 3:

Bacillus Schmerz: Racheduett

3D Fanfare: Oh Plastik!

Protein_id Klage

Monolog der Gene_desc

Ribosomale RNA Todesmotiv

Akt 4:

Melodie der Abfälle

3D Drück Siegeshymne

Freiheits - Duett

Lactobacillus Menuett

Tragisches Schicksalsmotiv

Wahnsinnsszene des Genoms

Kußmotiv der sterbenden Genbanker

ENDE

 

marcello mercado

Marcello Mercado

“Bestiary for the minds of the 21st Century: Genomic Opera”

DATA mining - 3D printed Genomic Opera

2-channel video installation + artist´s book + public audio interaction

ABS-plastic (ABS) and Polylactic acid (PLA) (bioplastic) on Polymethyl methacrylate (PMMA) (copper colored)

3D printing errors (glitches) + 3D remains +  Data Mining process on Genoms from mammals, insects, fungi and bacteria converted into plastic 3D Printed objects

Opera - Artist´s Book, 90 pages,

40 cm x 60 cm x 30 cm,

2015

 

marcello mercado

Marcello Mercado

“Bestiary for the minds of the 21st Century: Genomic Opera”

DATA mining - 3D printed Genomic Opera

2-channel video installation + artist´s book + public audio interaction

ABS-plastic (ABS) and Polylactic acid (PLA) (bioplastic) on Polymethyl methacrylate (PMMA) (copper colored)

3D printing errors (glitches) + 3D remains +  Data Mining process on Genoms from mammals, insects, fungi and bacteria converted into plastic 3D Printed objects

Opera - Artist´s Book, 90 pages,

40 cm x 60 cm x 30 cm,

2015

 

marcello mercado

Marcello Mercado

“Bestiary for the minds of the 21st Century: Genomic Opera”

DATA mining - 3D printed Genomic Opera

2-channel video installation + artist´s book + public audio interaction

ABS-plastic (ABS) and Polylactic acid (PLA) (bioplastic) on Polymethyl methacrylate (PMMA) (copper colored)

3D printing errors (glitches) + 3D remains +  Data Mining process on Genoms from mammals, insects, fungi and bacteria converted into plastic 3D Printed objects

Opera - Artist´s Book, 90 pages,

40 cm x 60 cm x 30 cm,

2015

 

marcello mercado

Marcello Mercado

“Bestiary for the minds of the 21st Century: Genomic Opera”

DATA mining - 3D printed Genomic Opera

2-channel video installation + artist´s book + public audio interaction

ABS-plastic (ABS) and Polylactic acid (PLA) (bioplastic) on Polymethyl methacrylate (PMMA) (copper colored)

3D printing errors (glitches) + 3D remains +  Data Mining process on Genoms from mammals, insects, fungi and bacteria converted into plastic 3D Printed objects

Opera - Artist´s Book, 90 pages,

40 cm x 60 cm x 30 cm,

2015

 

 

5. Text by Siegfried Zielinski, 2015:

"Genomische Oper: Ein Bestiarium für Bewusstseine des 21. Jahrhunderts"

Lange Zeit funktionierte der Dualismus als bequeme Denkprothese. Wir unterschieden zwischen Künstlern, die ihre Gestaltungsprozesse wesentlich als Kopfgeburten generieren und solchen, die wesentlich aus dem Bauch heraus operieren. Begrifflicher und medientheoretisch ausgedrückt: Soft- und Hardwareorientierung wurden als oppositionelle, oftmals als antagonistische Haltungen interpretiert. Das war im 20. Jahrhundert die Entsprechung zum Körper-Seele-Dualismus des europäischen Mittelalters, der in der Moderne ausgefächert entfaltet worden ist.
In der subversiven Perspektive der Alchemie zum Beispiel wurde im Hinblick auf diesen Dualismus schon in der Vormoderne heftiger Widerspruch angemeldet. Dass die Seele selbst ganz und gar Fleisch wäre, weil die Materie nichts anderes als modifizierter Geist mit sehr unterschiedlichen Erscheinungsformen darstellt und folglich umgekehrt das Geistige filigrane Ausformulierungen des Materiellen darstellt, war aus der Tradition der vor-sokratischen Philosophie der alten Griechen bekannt. Die Adepten und Zauberlehrlinge der Alchemie machten eine experimentelle Praxis und eine geheimnisvoll und hermetisch begründete Weltanschauung daraus. Der lapis philosophorum, der Stein der Weisen, der in der letzten Stufe der Transmutation auf die immer noch gemeine Materie geworfen wird, um sie schließlich zu veredeln und mit meta-physischer Bedeutung aufzuladen, ist beides: pulverisierter Stoff der Verwandlung und Algorithmus im Sinne einer Order, die aus den naturwissenschaftlichen Experimenten heraus destilliert worden ist.
In einer solchen subversiven Tradition arbeitet der argentinische Künstler Marcello  Mercado mit radikaler Konsequenz wie schier überbordender Energie und Einbildungskraft. In einer der ersten Performances, die ich von ihm vor nahezu 20 Jahren sah, konfrontierte er die komplexen elektronischen und digitalen Maschinen einer millionenschweren Nachbearbeitungsanlage mit seinem nackten Körper und den Nöten der in ihn eingeschlossenen und herausdrängenden Psyche. Mit der ganzen Kraft seiner sinnlichen Erkenntnis und Erfahrung arbeitete er sich in das Generieren künstlicher Bild- und Tonwelten ein und entwickelte mit Das Kapital  einen gigantischen Werkzyklus, der kein Ende finden kann, weil er Obsession und folglich nicht linear, sondern dynamisch und chaotisch organisiert ist. Die visuelle und akustische Sprache, die M2 für seine extrem idiosynkratische Interpretation des Kapitals als einzelner politischer Ökonomie des Körpers  erfunden hat, ist ein ständiger Prozess der Transformation von Daten und Relationen in erfahrbare Sensationen und Aggressionen, die exzessiv wuchern und bereits eine Gesamtlaufzeit von weit über 40 Stunden erreicht haben.
Parallel zur Verwandlungsarbeit Das Kapital begann M2 in den letzten gut zehn Jahren, sich an genomischen Materialien zu versuchen. Sein Atelier wurde zum biologischen und chemischen Versuchslabor; er grub im Freien, extrahierte Lebenssäfte von Pflanzen und Tieren und begann, sie ebenso obsessiv aufzutrennen und zu mischen, wie er das mit den Datenpaketen seines Computers und den aufgezeichneten Materialien seiner Analogmaschinen tut. Der schwule Kino-Mythos Fassbinder und der heterosexuelle Fluxus-Mythos Vostell waren real nie zusammen. M2 mischte die genetischen Informationen der beiden vermittels von Extrakten, die er aus Blumen von ihren Gräbern gewann,  und vereinigte sie in Zeichnungen, die er mit den gewonnen Genommaterialien realisierte. Die Grenzen zwischen Virtualität und Realität verschwimmen.
In seinem Bestiarium für Bewusstseine des 21. Jahrhunderts führt M2 nun verschiedene Stränge seiner Arbeit aus den letzten Jahrzehnten zusammen und treibt sie so zu einem Höhepunkt. Wie beim Kapital, das er als Oratorium konzipiert und für das er mehrere  Libretti schrieb, treibt er sein Experiment mit der Oper als einer ästhetischen Gattung voran, in der Präzision und Leidenschaft auf besondere Weise miteinander dialogisieren. Klänge werden in visuell wahrnehmbare Muster übersetzt. Im Unterschied zu den legendären Figuren Ernst Florens Friedrich Chladnis aus dem 18. Jahrhundert transformiert er allerdings die zeitlichen Ausdehnungen und Intervalle im Hörbaren nicht nur auf der Fläche, sondern in dreidimensionalen Objekten. Die Klänge werden nach ihrer Verwandlung in Datenpakete als längliche Skulpturen in schreienden Farben ausgedruckt, die auf einer Notation als wellige Informationsstrukturen im wahrsten Sinn des Wortes erfassbar sind. Mit piezo-elektronischen Mikrophonen als Interfaces kann der Besucher der Oper die Oberflächen des Materials abtasten, der experimentelle Apparat übersetzt die dadurch neu entstehenden Klänge wiederum in graphische Strukturen und macht die ursprüngliche Komposition nun als Ergebnis taktiler Begegnungen im Ton-Bild-Werk noch einmal und ganz anders erfahrbar.
Dass M2 mit dieser Genomischen Oper einen Beitrag zur Weiterentwicklung des Variantenreichtums unserer biologischen Welt leisten will, den er im zeitgenössischen Standardisierungsschub bedroht sieht, ist eine zusätzliche Leseebene, die zu kennen aber keine notwendige Voraussetzung für den ästhetischen und intellektuellen Genuss des Werkes ist. Wie in Das Kapital entfaltet sich sein Drängen in die nicht zu disziplinierende Heterogenität als Akrobatenakt auf dem Drahtseil, das zwischen Programm und Imagination, zwischen Vorschrift und aus der Zensur drängenden Phantasie über dem Abgrund unserer Wirklichkeit aufgespannt ist."

Siegfried Zielinski, Berlin 2015

 

 

6. Exhibition:

DIGITAL SYNESTHESIA Exhibition

Opening at Angewandte Innovation Laboratory in Vienna on March 10, 2016

Angewandte Innovation Laboratory
Franz Josefs Kai 3
1010 Vienna, Austria
http://www.ailab.at

 

marcello mercado

marcello mercado

marcello mercado

marcello mercado

marcello mercado

marcello mercado

marcello mercado

marcello mercado

marcello mercado

marcello mercado


------------------------------------------

7.

Examples of preview soundart works and Notations books:


1. Notations Books, soundart and performances 01:
http://www.khm.de/~marcello/html/portfolio9/gallery.html

2. Notations Books, soundart and performances 02:
http://www.khm.de/~marcello/html/portfolio10/gallery.html

3. Soundart and Radio:
http://www.khm.de/~marcello/html/soundart/index.html