聲音與影像的連動關係：專訪葉廷皓與其Audio-Visual創作

採訪｜
馮馨 Feng Hsin 策展人、聲音活動策劃人
王冠婷 Wang Kuan-Ting 藝評人

2018年於國立台灣美術館數位方舟展出的「聯覺共振」，由「噪流」的現任負責人葉廷皓策劃，是少數以Audio-Visual為主體討論的策劃展。「Audio-Visual」如其名稱，簡而言之即為影像與聲音結合的藝術，亦稱之為「音像藝術」。廣義的「音像藝術」同時包含了電影、電視、錄像等藝術類型，如查閱國內相關大專院校所開設的「音像藝術研究所」，則多為以電影、電視、錄像等影像為主的創作類型，但在「聯覺共振」中所討論的Audio-Visual，則鎖定新媒體藝術中從程式美學、運算美學發展的Audio-Visual為主，聲音與影像的連動關係緊密，常見的展演形式多為現場演出。

一般我們對於Audio-Visual的印象多以其影像表現為主，但亦有相當多的聲音藝術創作者是從聲音的發展出發，將聲音與影像一併思考與處理。2000年之後，隨著軟體程式的發展迅速與普及，有越來越多聲音的創作者採以軟體編曲、造音。聲音藝術中的聲音生成類型，可以粗略區分為「硬體噪音」與「軟體噪音」，「硬體噪音」多仰賴硬體本身的原有聲音，以不同的方式加強或是驅使其發聲，例如姚仲涵早期以日光燈明滅聲為主的聲音裝置《流竄座標》（2008-2010）、王福瑞以不同類型喇叭製作的聲音裝置、王仲堃以容器中不同水位產生不同音階原理的「聲瓶」系列（2008），自製類比合成器的Traffic Jam等；「軟體噪音」則如其名，以軟體生成聲音為主，亦可模擬硬體噪音的聲響。兩種類型各有強弱項，以演出為例，許多的「硬體噪音」便是透過改造硬體，驅使該硬體產生比以往更極端的聲響，軟體雖可以模擬，但有極限，但相對的，硬體噪音的演出精華往往在演出者與硬體間的操作關係上，但人的身體移動速度或是聲音切換終有極限，在軟體噪音的演出上則有多種方式可以達到人體操作所不能的速度。當然，目前也有許多演出是同時融合兩者，各取兩種類型的所長以達到自身演出的完整，觀眾除非熟稔聲音的創作方式與類型，不然是不易分清楚，且也無妨礙享受一場精彩的演出，但對於創作者而言，創作形式的選擇考量，也往往反映了創作者對於自身的思考。

曾受邀來台演出的赫曼科肯（Herman Kolgen）、黑川良一（Ryoichi Kurokawa）、Typingmonkeys、Nonotak、布山陽介、比嘉了皆是「Audio-Visual」類型的演出翹楚。在近年台灣聲音演出平台「失聲祭」邀演的演出者們，也有相當多創作者選擇以這樣類型進行演出，包含了「聯覺共振」的策劃人葉廷皓。

大學時期就讀於輔仁大學應用美術系主修電腦動畫的葉廷皓，在大學期間修習駱麗真老師教授的「科技藝術」，並因緣際會參與了2004年「漫遊者－國際數位藝術大展」的展覽志工、2005年的「異響」佈展工讀生，從佈展開始接觸新媒體藝術，並旁聽北藝大科技藝術研究所^[1]姚大鈞的課程一年之後，於2006年考上該研究所。在2004、2005年開始廣泛參與相關展演的同時，葉廷皓也因為展演的參與結識了王仲堃、姚仲涵等人，還沒入學就先與姚仲涵合作2006年夏日在「和Party」演出，擔任該場演出的VJ，並隨後加入當時剛成立的I/O Lab。2007年開始的「失聲祭」與2008年開始的「超響」都可以看得到葉廷皓的參與。

葉廷皓坦言當時很著迷於總是以機器人形象露面的知名樂團Daft Punk，因而早期的創作多環繞著人機合一、賽博格（Cyborg）理論討論，外加自覺手藝不精，不擅長機械裝置類型的創作，因此後來多選擇可以軟體作為主要發展工具的創作，作品《手藝孱弱》（2009）的名稱其實就是來自於這個自嘲。他的創作多利用程式創作聲音與影像的連動關係，《手藝孱弱》原先是在「超響2009」的演出作品，葉廷皓利用螢幕頭盔與全身動態感應器，將感應器安裝於身體四肢，以身體的擺動、旋轉動作，連結臉上的顯示器、身後的投影以及環境的聲響，透過原先寫好的即時運算影音程式產生變化^[2]；後來這件作品同時在當年度王福瑞策畫的展覽「發聲體」展出裝置版《拙模成器》。同年在非常廟藝術空間「軟抗爭」展出的《孩子的教育不能等》（2009），則是把過去課本中經常出現的蔣公，改造成機器人的形象，並將課本上的插圖、課文以及注音符號做塗改延異。課文與注音，字義與字音，看似輔助，實際上卻又互相不符合；現場播放的〈先總統蔣公紀念歌〉歌詞亦被替換，在純然聽見字音的同時，螢幕上歌詞的字義卻有著截然不同的含意，這件作品融合了葉廷皓創作中經常出現的諧音字、雙關語與以機械代人戲謔。2011年繼續延伸發展了《曬膊哥的自畫像》，該作品以程式發展作品動態影像與聲音的構成，共發展了三個版本，探索在數位時代，人類若擁有可以控制自我形象的「數位身體」，是否會改變自我對於自身的認知。

比起實體的作品，葉廷皓大部分的創作其實是透過演出而發表，例如即時影像運算的VJ演出、多與大型展演開幕合作的建築實物投影演出、雷射與影像結合的演出等。2013年與姚仲涵合組演出團體「HH」，由姚仲涵負責聲音，葉皓處理動態視覺，葉廷皓一方面著重於聲音與影像的連結性、聲音與影像演

出對於現場身體的感染力，一方面發展藉由撰寫程式本身衍伸出來的錯誤美學（Glitch Art）^[1]與運算美學^[2]。除了影像，亦將光從影像中抽取，讓光、影像和聲音更緊密的連結，並做出像聲音一樣穿透性的呈現。

2014年HH發展的大型演出「同步感染」，試圖以聲音、影像、燈光營造出一種沉浸式狀態，使同步的不單只是影像與聲音之間的連動關係，更進一步能擴散到觀眾的身體，擴張身體演出現場的感知。聲音以強烈的節奏為主體，融合實驗聲響與電子音樂，視覺則以聲音數值即時驅動影像流變，企圖用視覺創造特殊的空間感知體驗，形成不同感官之間的轉換與互補。而葉廷皓近年來與表演團體「一當代舞團YiLab.」、「涅所開發NAXS corp.」的合作也多為透過程式撰寫即時影音演算的影像、雷射變化，以視覺影像創造身體的感知體驗。

葉廷皓談及Audio-Visual過往總是被視為附屬，但近年國際上也開始出現許多以Audio-Visual為主體的藝術節，例如：十一月初剛於日本東京發生的Mutek P.^[1]、瑞士日內瓦的Mapping Festival、德國法蘭克福從VVVV社群開始發起的Node Forum，在在都彰顯著當今Audio-Visual從以往的分類項目逐步發展得更多元、更複雜的狀態。

隨著長期投入Audio-Visual的創作，也參與I/O Lab、「失聲祭」的演出與經營，葉廷皓於2018年接手「噪流」之後，有感於此類型創作者交流平台的缺乏，以及觀察Audio-Visual目前在國際的發展趨勢，在獲得空總文化創意實驗室的的第一屆Creators進駐計劃後，隨即以一連串Audio-Visual的工作坊、講座與演出作為推動Audio-Visual的起手式。葉廷皓選擇以「Audio-Visual」作為推動主軸的考量，除了與自身以往的創作方向有關之外，還同時可見這種創作類型兼具創作成本相對低^[2]與商業應用性廣的特性，小至商業櫥窗、產品發表會特效，大至燈節晚會、演唱會。Audio-Visual對當今生活中的滲透與應用，也不禁讓葉廷皓思考這類型創作反映出的文化特性，未來預計將繼續以「噪流」作為平台，去串聯國內外相關的創作者，如同過往「失聲祭」以演出創造出聲音藝術的討論與效益，「噪流」則將更注重於創作者的培育，以舉辦工作坊延續創作者的培育及聲音藝術不同面向的討論。