浸大通讯

探索人类与机器的界线

2021年7月30日

当我们生活几乎完全由演算法和数码科技主导，由自动化系统创造的生成艺术作品，或许是最能反映现今高度网络连结世界的艺术品。

过去数年，机器学习演算法取得长足的发展，人工神经网路已能够绘制出全新又富真实感的图像。然而，人工智能虽已在视觉艺术上广泛应用，但在声波领域，训练演算法来产生声音和音乐仍有很大的开发空间。

为了进一步探索人工智能的创作力，浸大创造性智能实验室旗下Meta Creativity Lab的跨学科研究团队开展了一项研究，利用生成对抗网络（Generative Adversarial Networks），进一步探索机器学习在不同创意艺术范畴的应用。四位主要研究人员之一、音乐系助理教授Roberto Alonso Trillo博士指出，团队在构建和训练生成对抗网络时，除了要处理复杂的技术问题，亦希望达成一个重要而具挑战性的目标，就是要了解这些新科技与艺术能动性的相互关系。

探索机器的创造力

Alonso博士说：「这个项目涉及使用生成对抗网络的演算法结构来产生音乐作品。生成对抗网络最有趣的概念层面之一，在於它们拥有学习能力，并处理监督式与非监督式的学习问题。」

生成对抗网络由「生成器」（generator）和「判别器」（discriminator）两个相互对抗博奕的子模型构成，两者都会按照输入的资料组来学习。生成器尝试模仿输入资料，而判别器则要识别资料是来自原资料组，还是由人工仿制而成。情况就如仿画家和鉴定师的较量，仿画家画出赝品让鉴定师辨别，再根据其鉴别结果画出比之前更接近真品的作品，过程中鉴定师亦会不断提升其鉴别能力。内容不断在两者之间来回传送，直至判别器不能区分原作品和生成作品。这过程透过持续的尝试与学习，最终创造出在形态上几可乱真的内容。

Alonso博士与合作团队正使用两个生成对抗网络（分别为MelGAN和UnaGAN）来产生声音。他说：「我们提供大量声音资料组给演算法，再训练机器进行分析，并不断尝试修改网络的内部结构，从而产生不同结果。在这阶段，我们开展有关声音形态学的研究：如果我们把小提琴的声音提供给生成对抗网络，它们能否产生听起来如同真正小提琴发出的声音？」他续说，两个生成对抗网络均采用非监督式学习模式，即学习过程不会预设条件。

研究团队根据两个生成对抗网络输出的结果，利用第三组神经网络（一个特定的描述∕预测模型）来产生和预测声音排序，以便研究人员重新编排声音，以影响最终输出结果。在这研究阶段，团队希望以现场演出的形式来探索和融合人类与机器之间的界限。Alonso博士表示：「目前不少研究集中在机器学习应用於艺术的技术层面，我们则尝试将它实际应用於艺术表演中。」

当艺术与科技交织在一起

Alonso博士说，将人工智能创造的作品转化为真实表演，是整个研究项目中较复杂的一环。他认为，必须将科技与艺术融合，而并非纯粹以科技作为噱头。他说：「电脑科学不断进化，有关数码科技的研究成果有潜力应用於艺术上。作为艺术家，我们需掌握这些新方式和工具，创作出有意义的作品。」

人工智能於艺术的应用亦令人质疑艺术能动性的性质。Alonso博士认为，历来新科技的发展往往会大幅改变人类创意和艺术行为，而机器学习及生成艺术亦是因着科技进步而形成的范式转变。

他认为机器学习是艺术家使用的一套电脑化工具，不过在这研究项目中，人类和机器在创作上的界线模糊，难以明确辨识。他表示：「试想像我们在艺术中运用的工具，譬如一件乐器，艺术家在演奏时应该与乐器产生联系。当这种联系发展成熟，艺术家和工具便融为一体，两者之间的界线最终会消失。」

突破音乐的界限

来自西班牙的Alonso博士是受过专业古典音乐训练的小提琴家，对当代音乐和实验性表演却毫不陌生。他於英国伯明翰城市大学皇家伯明翰音乐学院取得音乐学和小提琴演奏哲学博士学位，并於美国休斯顿大学摩尔斯音乐学院取得小提琴演奏音乐艺术博士学位。他曾在世界各地举行独奏表演，亦曾参与多个室乐和新音乐乐团的演出。他表示：「在过去20年，我与不同作曲家和艺术家合作，参与多个跨学科项目。他们当中有人采用有关人工智能的科技，令我对应用崭新科技工具於艺术表演产生兴趣。」

他十分欣赏浸大提供与音乐领域相关的跨学科研究机会，让他可以参与关於人工智能创意的研究，同时继续他教学和表演的工作。他既是专业的小提琴家，亦是音乐学学者，能为创意艺术领域中以实践为本的研究（透过实践学习新知识）和由实践主导的研究（推动关於实践的知识）填补缺口。他说：「能够从音乐学的角度来思考音乐与演奏是有趣的体验。你可以从知识层面来分析音乐，亦可以融入其中。你不是在谈论他人的演出，你就是演奏者。」

对Alonso博士来说，由於疫情持续而要实施的种种限制和检疫措施，固然为现场表演带来诸多不便，但能够获得当中的艺术体验，不便还是值得的。他今年6月便曾在西班牙举行的Resis国际当代音乐节中演奏，他说：「在表演期间，与其他音乐家和观众紧密联系的瞬间是一种超然的体验，推动着我一直演奏下去。」

请按此了解研究项目的GitHub资料库。