从早期电影到结合人工智能的艺术体验

2023年7月31日

DSC02098r DSC02098r
潘明伦教授(右)与万人杰博士介绍在浸大交响乐团周年音乐会的创新表演,由浸大交响乐团演奏圣桑的《骷髅之舞》,现场同步配以1922年导演达德利.墨菲创作的同名默片。

 

1922年,导演达德利.墨菲(Dudley Murphy)执导默片《骷髅之舞》(Danse Macabre),他构想制作一部色彩丰富的恐怖哑剧,配合作曲家圣桑(Camille Saint-Saëns)于1874年创作的同名乐章同步播放。然而,受当时技术限制,影片采用了染色和调色方法,将场景的画面染成单一色调。

墨菲不曾想到,这部电影首映约100年后,它原有的色彩终于能呈现银幕。

在上月举行的香港浸会大学交响乐团(浸大交响乐团)周年音乐会,观众欣赏到经修复并上色的《骷髅之舞》,以及由浸大交响乐团现场同步演奏圣桑的乐章。

这场创新的表演是浸大艺术家和科学家携手合作的跨学科研究成果。浸大协理副校长(跨学科研究)兼创意艺术学院院长潘明伦教授,担任浸大交响乐团及香港巴洛克室乐团音乐总监及指挥,他表示:「音乐和视觉媒体一直紧密相连,音乐会结合音乐与经典默片,并采用人工智能科技修复和活化电影,为观众带来跨学科、跨媒体的艺术体验。」

Concert_photo3r Concert_photo3r
在浸大交响乐团周年音乐会的创新表演是浸大艺术家和科学家携手合作的跨学科研究成果。

 

人工智能如何修复早期电影

计算机科学系助理教授万人杰博士负责研发技术修复这部百年默片,并为其画面上色。他说:「随着时间过去,影片画质退化,影像带有大量噪声,严重影响观感。研究团队透过人工智能技术修复影片,包括消除噪声、改善画面跳动问题,以及提高解像度。」

修复工作另一个重点是为黑白影片还原真实自然的色彩。研究团队训练机器学习算法,为低画质的单色影像注入彩色。万博士说:「适用于静态照片的图像上色技术发展较成熟,但影像上色却有难度。由于电影是通过一系列图像组成,产生连续变化的效果,所以我们为影像进行上色时,必须考虑每格画面之间的关系,确保上色效果一致。」

另外,研究团队亦运用「神经辐射场」技术(Neural Radiance Fields),该技术可以根据静态图像生成三维场景。万博士说:「我们可以从照片中提取画面元素进行彩色化,并建构出彩色的影像。」

潘教授认为音乐会展示科技带来新的视听体验,为现今观众提供更多欣赏早期电影的机会。他表示:「这些技术不仅修复了受损的默片,更让这些作品跟上时代步伐,供大众体验,令更多人能够从作品中认识昔日文化,了解旧时的人与事。」

开拓知识新领域

万博士正领导一个为期两年的研究项目,采用人工智能工具来活化默片,项目获浸大设立的「蓝天研究基金」支持。除了在音乐会上展示的创新技术外,研究团队正建立生成人工智能模型,提升默片色调和影像稳定性。

由于电影底片退化,一些默片已失去部分片段,为填补缺失的内容,研究团队将运用生成模型来创造新影像。万博士说,研究团队会采用先进的自然语言处理技术和机器学习演算法,按照默片的文字描述来产生新的画面内容,并确保色彩和影像质素的效果一致。

万博士说:「图片和影像是我们认识世界的重要媒介,故此提升视觉媒体画面的质素向来是我们研发图像与影像修复技术的目标之一。我们还可以将这些技术应用于手机照片和影片拍摄,提升手机镜头质素。」

潘教授认为团队开发的技术在保存经典电影的应用潜力很大,并能够开拓知识新领域。他说:「人工智能科技和应用为修复与保育历史文化带来了新方向,未来我们更可以利用这些技术,重塑昔日城市的面貌。今年的音乐会展现了浸大跨学科研究如何启发想象力,推动发现新知识。」