浸大通訊
結合人工智能 開創藝術科技新時代
2022年7月27日
縱觀歷史，藝術與科技一直互相融合，不斷拓展新領域。從開採製作雕塑的原材料到應用電腦繪圖於藝術創作，科技的發展為藝術家帶來多樣化的工具，不斷改變藝術創作與表達的方式。隨着人工智能（AI）逐漸成為我們生活的一部分，藝術創作者更可藉此開創前所未見的藝術形式，探索無限的可能。
浸大副校長（研究及拓展）郭毅可教授領導的「香港人機共生藝術創造平台技術建設」研究計劃，去年獲研究資助局的第11輪「主題研究計劃」撥款港幣$5,284萬元，進行為期五年的藝術科技研究。協理副校長（跨學科研究）潘明倫教授擔任研究計劃的副統籌人。
在此計劃下，以浸大為首的跨學科研究團隊正開發一個創新的人機共生藝術創作技術平台，提供源源不絕的藝術內容，引領人類邁進藝術科技年代。研究成果將包括藝術數據庫、人工智能創意算法系統、研究型劇院、數碼藝術與政策網，以及別具特色的創意應用項目等。
人機合作表演突破藝術界限
今年7月，浸大於「香港浸會大學交響樂團（浸大交響樂團）周年音樂會」上發表研究計劃的重要階段成果。音樂會在香港大會堂舉行，以「重聚」為主題，慶祝香港回歸祖國25周年，吸引了約800名觀眾出席欣賞，當中包括香港特別行政區政府文化體育及旅遊局局長楊潤雄先生和其他貴賓。創新的演出融入了尖端AI科技，是全球首場人機共創共演的同類表演，顯示AI在音樂演唱、跨媒體藝術及舞蹈上的創造力。
音樂會上展現的AI技術，由郭教授領導的「創造性智能實驗室」研究團隊開發。團隊成員包括潘明倫教授，以及計算機科學系專業應用副教授柳崎峰博士、助理教授雪巍博士及助理教授陳杰博士。
郭教授說：「這場由浸大呈獻的全球首場同類人機合作表演，是『香港人機共生藝術創造平台技術建設』研究計劃的重要成果。這亦是人工智能研究的一項里程碑，開啟人機共生創作的無限潛能。」
虛擬合唱團
音樂會上，浸大交響樂團與AI虛擬合唱團同台獻技，合力演繹新編的管弦樂合唱歌曲《東方之珠》，為觀眾帶來觸動人心的演出。這是全球首次由AI合唱團結合機器創作的視覺敘事，在音樂會指揮及交響樂團實時互動下完成的人機共創共演。
AI合唱團有320道人聲，但研究團隊其實只採集了數把專業歌手的聲音來訓練機器。雪巍博士說：「團隊首先收集歌手的錄音，但他們不需要指定唱《東方之珠》，甚至無須唱歌，說話都可以。」雪博士與團隊從收集所得的人聲歌唱和語音數據中，解析了演唱的主要因素，成功開發聲樂模型。隨着演算法不斷學習，研究團隊在過程中輸入額外數據，以改善每一個虛擬歌手的音準、旋律及藝術表現，讓AI學習人類如何伴隨音樂旋律傳情合唱，創建出一個虛擬四聲部合唱團。研究團隊除了將源於訓練數據的音色應用於AI合唱團，亦採用聲學方法創造擁有全新音色的虛擬歌手。
AI媒體藝術家透過影像說故事
研究團隊亦訓練AI媒體藝術家依據音樂旋律及歌詞，學習對《東方之珠》歌詞的語義及美學理解，創造出跨媒體的視覺影像，為歌曲賦予美的想像。負責研發演算法來訓練AI藝術家的柳崎峰博士說：「動態的影像內容配合歌詞不斷變化，其視角亦會隨旋律而改變。當音調愈高，影像視角也會愈高。當節奏加快，影像變化的速度也會配合。AI藝術家創作的畫面內容完全由歌曲的特色驅動。」
柳博士說，AI媒體藝術家採用歌詞為唯一訓練數據，有別於AI風格轉換技術一般只透過輸入圖檔來讓演算法模仿人類創造的作品。AI媒體藝術家創作一幅幅色彩鮮明的圖像，不但展現了機器對香港這顆東方明珠的想像，亦向觀眾呈現了視覺敘事在人工智能世代的演變。
人工智能編舞
音樂會另一高潮，是AI舞蹈家在浸大交響樂團的現場伴奏下，呈獻拉威爾的《達芙妮與克羅埃》芭蕾舞表演。AI芭蕾舞的編舞意念來自於自然世界，舞蹈動作的靈感則來自在香港新發現的一個箱形水母物種。
陳杰博士及其研究團隊與香港舞蹈團合作，透過動作捕捉技術，收集專業舞者配合樂曲下的舞姿，並建立數據資料庫。研究團隊接着訓練AI舞蹈家學習音樂與舞蹈之間蘊含的情感及美學。陳博士說：「舞者的動作是根據他們對音樂的詮釋而呈現出來，人工智能演算法則從分析舞者的動作數據中，學習他們對音樂的理解與動態。」
團隊亦從數據資料庫提取音樂舞蹈規則，包括節拍對齊、舞蹈序列轉換及組合等，將其應用於舞蹈生成模型中。他們又訓練AI舞蹈家識別自然風景舞動模式，並按照這些模式編舞，再根據其對音樂的理解以自然優美的舞姿演繹芭蕾舞蹈。
開拓嶄新的藝術形態
音樂會觀眾除了感受到沉浸式跨媒體藝術體驗，還欣賞到浸大學生音樂家的藝術才華。這些屢獲殊榮的年輕音樂家在會上演奏一系列曲目，包括聖桑的《A小調序奏與隨想迴旋曲 作品28》、伯恩的《卡門》幻想曲，以及郭春萍的《Rasa》─弦樂四重奏與嘉美蘭。
身兼浸大交響樂團及香港巴羅克室樂團音樂總監及指揮的潘教授表示：「這場創新的音樂盛會，除了展現了浸大年輕音樂家的才華，還顯示大學如何利用科技，在藝術和文化領域開拓人類想像力的界限。我們在藝術科技方面的研究，讓音樂家和藝術家突破傳統框架，以全新方式與觀眾互動。」
除了音樂會呈現的人機藝術表演，由浸大帶領的研究團隊正不斷研發創新技術，推進人類與機器共同創造藝術的新方向。
郭教授說：「浸大傾力打造世界一流的人工智能藝術科技平台，推動藝術科技文化產業的新變革，使香港在藝術科技領域具有全球領先的優勢地位。」
