结合人工智能 开创艺术科技新时代

2022年7月27日

 

纵观历史,艺术与科技一直互相融合,不断拓展新领域。从开采制作雕塑的原材料到应用电脑绘图于艺术创作,科技的发展为艺术家带来多样化的工具,不断改变艺术创作与表达的方式。随着人工智能(AI)逐渐成为我们生活的一部分,艺术创作者更可藉此开创前所未见的艺术形式,探索无限的可能。

浸大副校长(研究及拓展)郭毅可教授领导的「香港人机共生艺术创造平台技术建设」研究计划,去年获研究资助局的第11轮「主题研究计划」拨款港币$5,284万元,进行为期五年的艺术科技研究。协理副校长(跨学科研究)潘明伦教授担任研究计划的副统筹人。

在此计划下,以浸大为首的跨学科研究团队正开发一个创新的人机共生艺术创作技术平台,提供源源不绝的艺术内容,引领人类迈进艺术科技年代。研究成果将包括艺术数据库、人工智能创意算法系统、研究型剧院、数码艺术与政策网,以及别具特色的创意应用项目等。

人机合作表演突破艺术界限

今年7月,浸大于「香港浸会大学交响乐团(浸大交响乐团)周年音乐会」上发表研究计划的重要阶段成果。音乐会在香港大会堂举行,以「重聚」为主题,庆祝香港回归祖国25周年,吸引了约800名观众出席欣赏,当中包括香港特别行政区政府文化体育及旅游局局长杨润雄先生和其他贵宾。创新的演出融入了尖端AI科技,是全球首场人机共创共演的同类表演,显示AI在音乐演唱、跨媒体艺术及舞蹈上的创造力。

音乐会上展现的AI技术,由郭教授领导的「创造性智能实验室」研究团队开发。团队成员包括潘明伦教授,以及计算器科学系专业应用副教授柳崎峰博士、助理教授雪巍博士及助理教授陈杰博士。

郭教授说:「这场由浸大呈献的全球首场同类人机合作表演,是『香港人机共生艺术创造平台技术建设』研究计划的重要成果。这亦是人工智能研究的一项里程碑,开启人机共生创作的无限潜能。」

虚拟合唱团

音乐会上,浸大交响乐团与AI虚拟合唱团同台献技,合力演绎新编的管弦乐合唱歌曲《东方之珠》,为观众带来触动人心的演出。这是全球首次由AI合唱团结合机器创作的视觉叙事,在音乐会指挥及交响乐团实时互动下完成的人机共创共演。

AI合唱团有320道人声,但研究团队其实只采集了数把专业歌手的声音来训练机器。雪巍博士说:「团队首先收集歌手的录音,但他们不需要指定唱《东方之珠》,甚至无须唱歌,说话都可以。」雪博士与团队从收集所得的人声歌唱和语音数据中,解析了演唱的主要因素,成功开发声乐模型。随着演算法不断学习,研究团队在过程中输入额外数据,以改善每一个虚拟歌手的音准、旋律及艺术表现,让AI学习人类如何伴随音乐旋律传情合唱,创建出一个虚拟四声部合唱团。研究团队除了将源于训练数据的音色应用于AI合唱团,亦采用声学方法创造拥有全新音色的虚拟歌手。

AI媒体艺术家透过影像说故事

研究团队亦训练AI媒体艺术家依据音乐旋律及歌词,学习对《东方之珠》歌词的语义及美学理解,创造出跨媒体的视觉影像,为歌曲赋予美的想象。负责研发演算法来训练AI艺术家的柳崎峰博士说:「动态的影像内容配合歌词不断变化,其视角亦会随旋律而改变。当音调愈高,影像视角也会愈高。当节奏加快,影像变化的速度也会配合。AI艺术家创作的画面内容完全由歌曲的特色驱动。」

柳博士说,AI媒体艺术家采用歌词为唯一训练数据,有别于AI风格转换技术一般只透过输入图檔来让演算法模仿人类创造的作品。AI媒体艺术家创作一幅幅色彩鲜明的图像,不但展现了机器对香港这颗东方明珠的想象,亦向观众呈现了视觉叙事在人工智能世代的演变。

人工智能编舞

音乐会另一高潮,是AI舞蹈家在浸大交响乐团的现场伴奏下,呈献拉威尔的《达芙妮与克罗埃》芭蕾舞表演。AI芭蕾舞的编舞意念来自于自然世界,舞蹈动作的灵感则来自在香港新发现的一个箱形水母物种。

陈杰博士及其研究团队与香港舞蹈团合作,透过动作捕捉技术,收集专业舞者配合乐曲下的舞姿,并建立数据资料库。研究团队接着训练AI舞蹈家学习音乐与舞蹈之间蕴含的情感及美学。陈博士说:「舞者的动作是根据他们对音乐的诠释而呈现出来,人工智能演算法则从分析舞者的动作数据中,学习他们对音乐的理解与动态。」

团队亦从数据数据库提取音乐舞蹈规则,包括节拍对齐、舞蹈序列转换及组合等,将其应用于舞蹈生成模型中。他们又训练AI舞蹈家识别自然风景舞动模式,并按照这些模式编舞,再根据其对音乐的理解以自然优美的舞姿演绎芭蕾舞蹈。

开拓崭新的艺术形态

音乐会观众除了感受到沉浸式跨媒体艺术体验,还欣赏到浸大学生音乐家的艺术才华。这些屡获殊荣的年轻音乐家在会上演奏一系列曲目,包括圣桑的《A小调序奏与随想回旋曲 作品28》、伯尔尼的《卡门》幻想曲,以及郭春萍的《Rasa》─弦乐四重奏与嘉美兰。

身兼浸大交响乐团及香港巴洛克室乐团音乐总监及指挥的潘教授表示:「这场创新的音乐盛会,除了展现了浸大年轻音乐家的才华,还显示大学如何利用科技,在艺术和文化领域开拓人类想象力的界限。我们在艺术科技方面的研究,让音乐家和艺术家突破传统框架,以全新方式与观众互动。」

除了音乐会呈现的人机艺术表演,由浸大带领的研究团队正不断研发创新技术,推进人类与机器共同创造艺术的新方向。

郭教授说:「浸大倾力打造世界一流的人工智能艺术科技平台,推动艺术科技文化产业的新变革,使香港在艺术科技领域具有全球领先的优势地位。」