Beszélgetés Yagiz Mungannel, a CODAME művészével

A művészek és az előadók interjúinak sorozata, amelyet Irene Malatesta a CODAME ART + TECH fesztiválon [2018] mutatott be

Yagiz Mungan, interdiszciplináris művész

Az interdiszciplináris művész, Yagiz Mungan olyan alkotásokat hoz létre, amelyek ötvözik a VR / AR-t, a hangot / zenét, az interakciót, a teljesítményt, a virtuális világokat és a játékokat. Különösen érdekli a látvány és a hang létrehozásának generációs stratégiái, valamint a technológia felhasználásának módjai az emberi érzékelés és az érzelmi reakciók határainak tolására. Munkája gyakran az ismerős tapasztalatok újbóli aktualizálására irányul, vagy a modern élet szokatlan technológiai találkozásaival foglalkozik.

Mungan számítógépes mérnöki MSc és interaktív művészetek MFA diplomát szerzett, és világszerte kiállította munkáját. A 2018-os CODAME ART + TECH fesztiválon a Mungan Illy nevű projektet mutat be, egy AI-t, amely hang nélkül, nyelv nélkül kommunikál.

Az idei CODAME fesztiválon, amelynek kódneve #ARTOBOTS, 4 napos installációk, műhelyek, beszélgetések és egyebek kerülnek bemutatásra, amelyek összpontosítják a mesterséges intelligencia és a robotika bővülő hatását a modern világban. Ebben a beszélgetésben Mungan megvitatja ezeket a témákat és még többet, beleértve hátterét és korai hangkísérleteit, azt, hogy miként keveri a különböző technológiai médiumokat új médiaművészet létrehozásához, és hogyan segítheti a VR a lehetetlen megtapasztalását.

IM: Szia Yagiz, köszönöm a chat-et. Ön egy művész, aki interaktív installációkkal, interaktív zenével és vegyes valósággal dolgozik. Elindíthat egy kicsit arról, hogy ki vagy, és milyen munkát végez?

YM: Szeretek interaktív vagy generációs dolgokat létrehozni, ahol a számítógép vagy a szoftver a hatóanyag tapasztalatának része. A nap folyamán mérnöki tanulmányokat folytattam, és arra buzdíttam, hogy gondolkodjak azon, hogyan lehetne kreatívabbá tenni a projektem. Megvizsgáltam algoritmikus és generatív megközelítéseimet munkámban. Eljutottam arra a helyre, ahol nem volt felhasználó, de a szoftver révén több kifejezés volt. Innentől kezdtem bele a játékba: játéktervezés és interaktív installációk.

Mindig zenével és művészettel dolgoztam, de a technológia és a művészet valóban két különálló dolog volt, amikor fiatalabb voltam; nem léteztek együtt. Az ötlet, hogy összekapcsolom őket, az idő múlásával nőtt. Amint elkezdtem az algoritmikus generációt, olyan szoftvereket írtam, amelyek zenét alkottak és látványokat készítettek. Olyan rendszerekbe kerültem, amelyekkel kölcsönhatásba léphet, zenét, videókat hozhat létre, kódot hozhat létre egy játékhoz vagy telepítéshez.

A vegyes valóság vagy a VR csak egy újabb eszköz telepítések létrehozására, ha akarod. És a VR-ben nincs fizikai korlátozása annak, amit létrehozhat.

Úgy hangzik, mintha ön elsősorban olyan művészként írná le magát, aki interaktivitással működik, és ezeknek a különböző médiumoknak különböző módjai voltak.

Igen, ez az egyik módja. Nekem azt mondanám, hogy „interdiszciplináris” művész, mert a kódolás a szakmám. Számomra a hangok mindig a dolgok legfontosabb szempontjai: mindig megpróbálom hang- vagy zeneközpontúvá tenni. A látványtervek mindig ott vannak, de mindig igyekszem a hangzást a projekt nagyon fontos részévé tenni, és építeni annak körül, szemben a „Tegyünk némi zenét a háttérben.” Ehelyett általában a zenék megteremtésével foglalkozom.

Ez érdekes, mert ez egy igazán különálló szempont arról, hogy a zene a tárgy vagy a zene a háttérben. Ön már említette, hogy a kódolás a kézműve. Van egy számítógépes mérnöki mester és egy elektronikus művészeti diplomát. Beszélne egy kicsit a háttéréről és honnan származik, és hogyan döntött úgy, hogy folytatja ezt a formális képzési utat?

Törökországból származom. Honnan származom, gyermekkoromban, a 2000-es évek elején, ez egy olyan kultúra volt, ahol ha sikeres hallgató vagy, bizonyos tantárgyakat el kell tanulnia. Nem volt túl sok lehetőségem közül választani, ezért tanultam a mérnököt.

Mindig úgy éreztem, hogy hiányzik valami. A mesterképzésem során azt vizsgáltam, hogy mit lehet tenni a programozással vagy a mérnöki munkával, és felismertem, oké, ezt felhasználhatom a kedvelt zene készítésére. Diplomamunkám a kompozíciók algoritmikus létrehozásáról szólott. Miután megtették vele, azt hittem, szeretnék némi felhasználói interakciót is.

A második mesterem az interaktív művészetről, mint időalapú médiumról szól. Ez a telepítésekre, a művészetesebb ötletekre és a felhasználói interakcióra összpontosított. Ez egyfajta volt az utam.

A kreatív ösvényednek nagyon sok értelme van: UX fejlesztőként, egyetemi oktatóként jártál, játéktervezésen dolgozott ... sok különböző dolgot csináltál, de mindegyikük részt vett a kreativitás ezen alkotóelemén, létrehozva valamit és az interaktivitást és a mérnöki munka. Ön is sokat utazott. Kommentálhat a már meglévő munkahelyein és a városai között?

Ez egy érdekes kérdés, mert annyi időt töltöttem a grad iskolában. A munkahelyekkel kapcsolatban a megnevezett címeim megváltoztak, de mit csinálok, általában ugyanaz. Ami a legérdekesebb, az a munka, amelyet rendes „munkáimon” kívül dolgozom. Az emberek, akikkel találkozom, a san francisco műszaki és művészeti közössége. A közösség embereivel való beszélgetés mindig több, mint szórakoztató, úgy érzi, hogy többet kell tennem. Nem versenyképes módon, de tudod, inspiráltam!

Sok városban voltam. Indiában voltam a fokozatos tanulmányaim után. Svédországban, majd egy ideje Németországban voltam. Sok idő Törökországban. Ami a művészeti közösséget illeti, nem tudom összehasonlítani, mondjuk, az Indiana-t San Francisco-val, mert annyira más. Itt mindig új emberek találkoznak. Olyan sok minden történik itt.

Különösen a munkájával kapcsolatban volt valami olyan projekt, amely már korán inspirált?

Körülbelül hét korom óta mindig is részt vettem a zeneben. Fő hangszerem a gitár. Szintetizátorokat is játszok. Úgy gondolom, hogy az akkor kezdődött, amikor egy osztályban voltam, és nagyon egyszerű hangkészítő kódot készítettem, és érdekeltem, hogy tovább menjek. Megvizsgáltam az alapkutatást, rengeteg dolog van odakinn, és rájöttem, hogy létezik ez a terület, amelyet tanulmányozni tudok, kutatást végezhetek magam fejlesztése érdekében.

Az első részből kicsit véletlen volt. Például folyamatosan kap hirdetéseket, e-maileket a gyártóktól, és ennyi, látja az új hangszórót, bármi is legyen. Emlékszem, kaptam egy e-mailt, amelyben azt állítottam, hogy az új hangszórónak van bizonyos frekvenciaválasza, és azt gondoltam: "Az emberek ezt nem hallják!" Inspiráltam, hogy tesztelje. Készítettem egy egyszerű kódot annak a hangnak a lejátszásához, és természetesen semmit sem hallottunk a laptopról.

Ez csak egy korai kísérlet volt. Csak szórakoztam, és akkor rájöttem, hogy valóban így tudok zenélni. Az idő múlásával az eszközök széles skáláját fedeztem fel, amelyeket az emberek a kreatív technológiához használtak. Ez volt az első lépés számomra.

Beszéljünk egy kicsit a most végzett munkáról. Beszélne egy kicsit a jelenlegi kreatív projektjeiről, amelyek iránt a legjobban izgatottak, és mi is ösztönöz téged ezek létrehozására? Miért készíted őket, mindenekelőtt szeretnék kommunikálni?

Nos, a munkám két úton halad. Időnként a vizuális művészetben van valami, amit meg akarok vizsgálni, vagy valamilyen felhasználói interakció, amelyben kíváncsi vagyok. Tehát nincs valódi üzenet vagy jelentés, hanem csak azt akarom látni, hogy hol érzem magam esztétikusabb helyzetbe. Időnként, amikor van valami, ami zavar, vagy gondolkodásra késztet, készítek egy darabot erről.

Jelenleg a zene-megjelenítőkkel való további munka felé mozogom, absztrakt tájak készítésével a zene segítségével. Megpróbálom megszabadulni a régi absztrakt formáktól, és realisztikusabb megjelenésű látványokba kerülhetek. Ez egy szórakoztató projekt, betekintve néhány vizuális effektusba, amelyeket át tudok vezetni a hangon.

Mi a helyzet a tájakkal, amelyekkel vonzza, miért a tájak?

Nos, azt mondanám, hogy nem olyan táj, mint a természetben, hanem tájképeket, például egy városban. Mint amikor ül egy kávézóban és figyeli az utcán átjáró embereket. Tudok valami ilyesmit létrehozni, ami lehetetlen lenne a való életben, amikor néhány ember felmegy, mások lefelé mozognának.

És aztán felhasználhatom a mozgás rögzítését ennek létrehozására. A törés érdekel engem, az a tény, hogy valójában nem léteznek vagy nem létezhetnek.

Alkotásainak létrehozásához az Unity és a WebGL eszközöket használja. Tudna beszélni egy kicsit a médiumokról és eszközökről, amelyeket a munkája készítéséhez használ? Mi a legfontosabb számodra?

Igen, ezek a vizuális megjelenés két fő eszköze. Szeretek egy űrben dolgozni, és a fizikai terekben dolgozni érdekes, de nem mindig megfizethető vagy praktikus. Ezért szeretek virtuális terekben dolgozni, vagy kombinálom őket, tehát van néhány fizikai szempont a virtuális szempontokról. Ezekben az esetekben az Unity-t vagy a WebGL-t használom.

Az egyiket választhatom, ha valamelyikben van valami különleges, amire szükségem van. Elsősorban a terjesztési eszközök alapján választom. Ha el kell osztanom a munkát az emberek között, akkor elmegyek a WebGL-hez, a böngésző útjára, [szeretem] a three.js könyvtár használatát, így csak megoszthat egy linket, és mások hozzáférhetnek hozzá. Esemény-alapú dolgokhoz szeretem használni a Unity-t. Nagyon szórakoztató és könnyen használható, sok képességgel. Kicsit nehezebb terjeszteni.

Egy másik dolog [figyelembe venni] a hűség. A készségeimmel jobb minőséget szerezhetek az egységben, ami néha fontos. A hangzás szempontjából ez kissé érdekes. Szeretem a Unity-t, de hangtechnikai képességei elég korlátozottak. Leggyakrabban egy olyan dolgot kapcsolok össze, mint a MAX / MSP, amely olyan, mint egy élő teljesítmény eszköz, de ez megnehezíti a teljes termék telepítését vagy másoknak küldését.

Amikor egy térben dolgozom, nagyon sok hangot szeretnék használni abban a térben, hogy visszakeveredjen a kiállításba, elkapja a hangokat és feldolgozza azokat. Az általam létrehozott élmények részeként néha szeretem bemutatni saját kompozícióimat gitáron.

Ön szerint milyen érzelmi művészi tartalom válik lehetővé a vegyes valóságtechnológiák miatt? A VR-ben dolgozik ezekkel az új eszközökkel. Nyilvánvalóan van egy ok, amiért a művészek a VR használatával akarják valami újat kommunikálni, igaz?

Igen. A fizikai világban sok olyan dolog van, amit nem lehet elérni, az alapvető korlátozások miatt, például a tér vagy az erőforrások, például a pénz, stb. Amit VR ad, az a képesség, hogy dolgokat hozzon létre, mint például a lehetetlen forgatókönyvek. Az első személy szempontjából a lehetetlenbe helyezi. Minden hirtelen valósággá válik, mint például: „Meg tudom érni ezt.”

Az egyik dolog, amit nemrégiben tettem, egy VR és táncdarab. Freya Olafson és én készítettük ezeket a táncoló avatárokat. Ha elég sokat készítettél róluk, úgy érezte, hogy robotikusan, mozgó avatárok erdei fenekén vagy. Fenséges érzést keltett. Nem tudsz odajutni nagyon könnyen. Eljutni olyan pontra, amely túlmutat a lehetségesnél, de hirtelen úgy érzi, hogy „Valójában itt vagyok, ez lehetetlen”.

Vannak, akik a VR-t használják a fizikai világ újjáteremtésére, és akkor ez csak szórakoztatóvá válik, mint egy vicc. Számomra az érdekes, hogy az embereket ebbe a lehetetlen helyzetbe hozzuk, ahol ez egy nagyon személyes élményré válik. A saját szemével látja. Ez tényleg hozzád juthat.

Fénykép a Motion Aftereffectről: Freya Bjorg Olafson és Yagiz Mungan, 2017. Fotó: Robbie Sweeny. Ezt a munkát a CounterPulse művészi tartózkodási megbízási program keretében fejlesztették ki a Nemzeti Művészeti Alapítvány, a Zellerbach Család Alapítvány és a Ken Hempel Művészeti Alap támogatásával. További információ itt.

A művészek nagyon hosszú ideig különféle módon foglalkoznak a fenségesvel. Gondolod, hogy a vegyes valóságtechnika különösen jó eszköz vagy tér az érzés kommunikálásához?

Szerintem igen. Ez bármi közepes közepe, de az a tény, hogy bárhol elhelyezhet embereket, nagyon erős, mert az embereket bárhová elképzelheti, nemcsak a tájban, hanem a gondolkodásmódban is. Nem kell, hogy egy valós tér legyen, amelyen állhatnak. Lehet, hogy egy hely nincs föld, vagy lehet átmeneti tér. Lehetnek csak fények és hangok. Lehet, hogy nincs hely. Ez elég erős.

Teljesen. És mi lenne egy kicsit a jövőbe nézni? Léteznek olyan új technológiák, amelyek iránt nagy izgalom van, és amelyek még mindig a koncepció kidolgozásának szakaszában vannak, ám véleménye szerint még nem használták fel őket teljes mértékben magas szintű műalkotások létrehozására?

Mindig a lineáris fejlődés tapasztalható az új technológiákban. Még mindig foglalkozunk a hálózati kábelekkel, és a kábelek néha zavaróbbá válnak, mint a darab! De ami az új technológiákat illeti, érdekes lenne megnézni, hol megy az AR. Ezen a ponton csak lekaparja a felszíni szintet, de amikor valójában ott lesz, nehéz megmondani, mi a kibővített valóság és mi a fizikai. Ez érdekes és ijesztő lesz.

Illy képei, Yagiz Mungan

Beszéljünk a közelgő CODAME ART + TECH fesztiválról. El tudja mondani nekünk a munkáját, amelyet mutatni fog?

Illy verziója lesz, amely félig intelligens rendszer. Ez egy fejlődő projekt, amely már egy ideje folyik.

Illy kiindulópontja egy eszköz volt: egy Amazon Alexa vagy a Google Home. Amikor ezek egyikét használja, műanyag dolgokkal beszél, mond valamit, és eredményre számít. És amikor megkapja ezt az eredményt, boldog és elégedett érzi magát, de amikor azt mondja: „Ó, nem értem meg”, csalódottnak érzed magad. Ha rossz dalt játszik le, csalódott lesz.

Miután átléptem ezt a folyamatot az akcentussal, zavartam, hogy olyan frusztrálhattam egy műanyag botot. Miután egy kicsit átgondoltam, feljöttem Illy-vel, ami egy olyan mesterséges intelligencia, amely nem érti az angol nyelvet. Illy nem ért semmilyen nyelvet, nem érti a beszédet, de megpróbálja értelmezni a hangokat, a hangmagasságot, a hangerőt, a hang főbb jellemzőit, és igyekszik vissza válaszolni. Olyan kommunikációt hoz létre, amelyben mindkét fél tudja, hogy nem lesz megértés. Ön rajtad múlik, hogy értelmezze-e azt, amit mond.

Tehát kommunikál vissza, ha beszélsz vele, de nem nyelven?

Pontosan. A beszélgetés több, mint egy monológ, de rajtad múlik, mit mond. Szóval ez a fő ötlet. Lesz egy VR projekt vagy egy nagy kijelző. Úgy tekintheti Illyre, mint olyan dolgokra, amelyek csak nyers hangokat adnak, vagy lehet a legmegértõbb háziállat, vagy úgy bánhat vele, mint egy csecsemõ. Mint tudod, beszélsz egy babával. Tudod, hogy a baba nem ért téged. Arról szól, hogy érzel.

Mit szeretne, ha az emberek tudnának a munkájáról? Vagy mit szeretne, hogy gondolkodjanak legjobban, amikor a fesztiválon látják a munkádat?

Arról szól, hogy mi van-e a dolgokkal, a technológiával, az AI-vel való kapcsolatunk, és hogyan változtatja meg a kommunikációs eszköz perspektíva és elvárásaink. Például, például, most mondok valamit, és megértheted, mert ugyanazokat a szimbólumokat használjuk, de ha törökül beszélek, akkor ez csak zaj lenne és teljesen nem lenne értékes neked.

Vagy mérlegelje az emberek közötti kapcsolatot, például amikor egy kávézóba megy, és kávét kér. Rohanó életünk nagy részében elvárásunk az, hogy „Ez a személy kávét ad nekem”. Ha ez a személy megpróbál aprólékos beszélgetést folytatni veled, a következő reakcióod van: "Mennem kell, miért pazarolja az időmet!" Ez a kicsi dolog, de valójában tudatában ezeknek a kölcsönhatásoknak, szemben a tudatalatti tudatossággal, nagyon más.

Érdekes gondolkodni azon, hogy a hang, a hangminőség és a nyelv jelentése sok időben összekeveredik-e. Mint a projektnél: így mutatod be, de tudjuk, hogy nagyon kedves hangon mondhatunk valamit, és fordítva. Nagyon könnyű megválaszolnunk ezeket az elvárásokat, amelyek akkor tévednek, mert csak a saját perspektívánkat alkalmazzuk.

Ez a kulturális konstrukció. A különböző nyelvek különböző módon mondhatják el a dolgokat. Például néhányukkal valami „aranyos” kiejtése egy nyelven úgy hangzik, mintha veled beszélek. Mindezek a jelentések emberi eredetű kulturális dolgok, amelyekben egyet kell értenünk. Szüksége van a megfelelő dekóderre a megértéshez, és mi van, ha nincs meg?

Csatlakozzon és tudjon meg többet Yagiz Munganról a CODAME oldalon:

Munkáját megtalálhatja a CODAME ART + TECH fesztiválon [2018], egy négynapos konferencián, workshopokkal, beszélgetésekkel és éjszakai eseményekkel @ The Midway, San Francisco, 2018. június 4–7., Kódnevű #ARTOBOTS:

CODAME ART + TECH fesztivál [2018] #ARTOBOT

Irene Malatesta író, kreatív stratégiája és digitális művészet szerelmese San Franciscóban. Találhatja őt a Twitteren és az Instagram @irenekaoru oldalon.