浸大通訊
從早期電影到結合人工智能的藝術體驗
2023年7月31日
1922年，導演達德利．墨菲（Dudley Murphy）執導默片《骷髏之舞》（Danse Macabre），他構想製作一部色彩豐富的恐怖默劇，配合作曲家聖桑（Camille Saint-Saëns）於1874年創作的同名樂章同步播放。然而，受當時技術限制，影片採用了染色和調色方法，將場景的畫面染成單一色調。
墨菲不曾想到，這部電影首映約100年後，它原有的色彩終於能呈現銀幕。
在上月舉行的香港浸會大學交響樂團（浸大交響樂團）周年音樂會，觀眾欣賞到經修復並上色的《骷髏之舞》，以及由浸大交響樂團現場同步演奏聖桑的樂章。
這場創新的表演是浸大藝術家和科學家攜手合作的跨學科研究成果。浸大協理副校長（跨學科研究）兼創意藝術學院院長潘明倫教授，擔任浸大交響樂團及香港巴羅克室樂團音樂總監及指揮，他表示：「音樂和視覺媒體一直緊密相連，音樂會結合音樂與經典默片，並採用人工智能科技修復和活化電影，為觀眾帶來跨學科、跨媒體的藝術體驗。」
人工智能如何修復早期電影
計算機科學系助理教授萬人杰博士負責研發技術修復這部百年默片，並為其畫面上色。他說：「隨着時間過去，影片畫質退化，影像帶有大量雜訊，嚴重影響觀感。研究團隊透過人工智能技術修復影片，包括消除雜訊、改善畫面跳動問題，以及提高解像度。」
修復工作另一個重點是為黑白影片還原真實自然的色彩。研究團隊訓練機器學習演算法，為低畫質的單色影像注入彩色。萬博士說：「適用於靜態照片的圖像上色技術發展較成熟，但影像上色卻有難度。由於電影是通過一系列圖像組成，產生連續變化的效果，所以我們為影像進行上色時，必須考慮每格畫面之間的關係，確保上色效果一致。」
另外，研究團隊亦運用「神經輻射場」技術（Neural Radiance Fields），該技術可以根據靜態圖像生成三維場景。萬博士說：「我們可以從照片中提取畫面元素進行彩色化，並建構出彩色的影像。」
潘教授認為音樂會展示科技帶來新的視聽體驗，為現今觀眾提供更多欣賞早期電影的機會。他表示：「這些技術不僅修復了受損的默片，更讓這些作品跟上時代步伐，供大眾體驗，令更多人能夠從作品中認識昔日文化，了解舊時的人與事。」
開拓知識新領域
萬博士正領導一個為期兩年的研究項目，採用人工智能工具來活化默片，項目獲浸大設立的「藍天研究基金」支持。除了在音樂會上展示的創新技術外，研究團隊正建立生成人工智能模型，提升默片色調和影像穩定性。
由於電影底片退化，一些默片已失去部分片段，為填補缺失的內容，研究團隊將運用生成模型來創造新影像。萬博士說，研究團隊會採用先進的自然語言處理技術和機器學習演算法，按照默片的文字描述來產生新的畫面內容，並確保色彩和影像質素的效果一致。
萬博士說：「圖片和影像是我們認識世界的重要媒介，故此提升視覺媒體畫面的質素向來是我們研發圖像與影像修復技術的目標之一。我們還可以將這些技術應用於手機照片和影片拍攝，提升手機鏡頭質素。」
潘教授認為團隊開發的技術在保存經典電影的應用潛力很大，並能夠開拓知識新領域。他說：「人工智能科技和應用為修復與保育歷史文化帶來了新方向，未來我們更可以利用這些技術，重塑昔日城市的面貌。今年的音樂會展現了浸大跨學科研究如何啟發想像力，推動發現新知識。」