浸大通訊

探索人類與機器的界線

2021年7月30日

當我們生活幾乎完全由演算法和數碼科技主導，由自動化系統創造的生成藝術作品，或許是最能反映現今高度網絡連結世界的藝術品。

過去數年，機器學習演算法取得長足的發展，人工神經網路已能夠繪製出全新又富真實感的圖像。然而，人工智能雖已在視覺藝術上廣泛應用，但在聲波領域，訓練演算法來產生聲音和音樂仍有很大的開發空間。

為了進一步探索人工智能的創作力，浸大創造性智能實驗室旗下Meta Creativity Lab的跨學科研究團隊開展了一項研究，利用生成對抗網絡（Generative Adversarial Networks），進一步探索機器學習在不同創意藝術範疇的應用。四位主要研究人員之一、音樂系助理教授Roberto Alonso Trillo博士指出，團隊在構建和訓練生成對抗網絡時，除了要處理複雜的技術問題，亦希望達成一個重要而具挑戰性的目標，就是要了解這些新科技與藝術能動性的相互關係。

探索機器的創造力

Alonso博士說：「這個項目涉及使用生成對抗網絡的演算法結構來產生音樂作品。生成對抗網絡最有趣的概念層面之一，在於它們擁有學習能力，並處理監督式與非監督式的學習問題。」

生成對抗網絡由「生成器」（generator）和「判別器」（discriminator）兩個相互對抗博奕的子模型構成，兩者都會按照輸入的資料組來學習。生成器嘗試模仿輸入資料，而判別器則要識別資料是來自原資料組，還是由人工仿製而成。情況就如仿畫家和鑒定師的較量，仿畫家畫出贗品讓鑒定師辨別，再根據其鑒別結果畫出比之前更接近真品的作品，過程中鑒定師亦會不斷提升其鑒別能力。內容不斷在兩者之間來回傳送，直至判別器不能區分原作品和生成作品。這過程透過持續的嘗試與學習，最終創造出在形態上幾可亂真的內容。

Alonso博士與合作團隊正使用兩個生成對抗網絡（分別為MelGAN和UnaGAN）來產生聲音。他說：「我們提供大量聲音資料組給演算法，再訓練機器進行分析，並不斷嘗試修改網絡的內部結構，從而產生不同結果。在這階段，我們開展有關聲音形態學的研究：如果我們把小提琴的聲音提供給生成對抗網絡，它們能否產生聽起來如同真正小提琴發出的聲音？」他續說，兩個生成對抗網絡均採用非監督式學習模式，即學習過程不會預設條件。

研究團隊根據兩個生成對抗網絡輸出的結果，利用第三組神經網絡（一個特定的描述∕預測模型）來產生和預測聲音排序，以便研究人員重新編排聲音，以影響最終輸出結果。在這研究階段，團隊希望以現場演出的形式來探索和融合人類與機器之間的界限。Alonso博士表示：「目前不少研究集中在機器學習應用於藝術的技術層面，我們則嘗試將它實際應用於藝術表演中。」

當藝術與科技交織在一起

Alonso博士說，將人工智能創造的作品轉化為真實表演，是整個研究項目中較複雜的一環。他認為，必須將科技與藝術融合，而並非純粹以科技作為噱頭。他說：「電腦科學不斷進化，有關數碼科技的研究成果有潛力應用於藝術上。作為藝術家，我們需掌握這些新方式和工具，創作出有意義的作品。」

人工智能於藝術的應用亦令人質疑藝術能動性的性質。Alonso博士認為，歷來新科技的發展往往會大幅改變人類創意和藝術行為，而機器學習及生成藝術亦是因着科技進步而形成的範式轉變。

他認為機器學習是藝術家使用的一套電腦化工具，不過在這研究項目中，人類和機器在創作上的界線模糊，難以明確辨識。他表示：「試想像我們在藝術中運用的工具，譬如一件樂器，藝術家在演奏時應該與樂器產生聯繫。當這種聯繫發展成熟，藝術家和工具便融為一體，兩者之間的界線最終會消失。」

突破音樂的界限

來自西班牙的Alonso博士是受過專業古典音樂訓練的小提琴家，對當代音樂和實驗性表演卻毫不陌生。他於英國伯明翰城市大學皇家伯明翰音樂學院取得音樂學和小提琴演奏哲學博士學位，並於美國休斯頓大學摩爾斯音樂學院取得小提琴演奏音樂藝術博士學位。他曾在世界各地舉行獨奏表演，亦曾參與多個室樂和新音樂樂團的演出。他表示：「在過去20年，我與不同作曲家和藝術家合作，參與多個跨學科項目。他們當中有人採用有關人工智能的科技，令我對應用嶄新科技工具於藝術表演產生興趣。」

他十分欣賞浸大提供與音樂領域相關的跨學科研究機會，讓他可以參與關於人工智能創意的研究，同時繼續他教學和表演的工作。他既是專業的小提琴家，亦是音樂學學者，能為創意藝術領域中以實踐為本的研究（透過實踐學習新知識）和由實踐主導的研究（推動關於實踐的知識）填補缺口。他說：「能夠從音樂學的角度來思考音樂與演奏是有趣的體驗。你可以從知識層面來分析音樂，亦可以融入其中。你不是在談論他人的演出，你就是演奏者。」

對Alonso博士來說，由於疫情持續而要實施的種種限制和檢疫措施，固然為現場表演帶來諸多不便，但能夠獲得當中的藝術體驗，不便還是值得的。他今年6月便曾在西班牙舉行的Resis國際當代音樂節中演奏，他說：「在表演期間，與其他音樂家和觀眾緊密聯繫的瞬間是一種超然的體驗，推動着我一直演奏下去。」

請按此了解研究項目的GitHub資料庫。