音乐创作降门槛AI作曲难过感情关

2021年9月2日，瑞士洛桑，Nexus管弦乐团演奏贝多芬“第十交响曲”的片段

市民体验智慧钢琴

短短几年，音乐人工智能已成为热门。作曲、伴奏、即兴创作……人工智能在各种场合展示的“才华”令人大开眼界。在刚刚过去的2021年，世界音乐人工智能大会、全球人工智能技术大会、2021中国音乐科技应用论坛等各种学术活动上，音乐人工智能也成为被提及最多、大家讨论最热烈的话题之一。

未来的音乐会变成什么样？音乐人工智能会代替人类的艺术创造吗？它会为人类的创造力插上翅膀，还是成为终结者？

个案

AI少女学音乐

“小冰学习能力超强”

2020年的毕业季，上海音乐学院迎来一位“特殊”的毕业生——人工智能少女小冰。小冰不仅顺利毕业，还被授予音乐工程系2020届“荣誉毕业生”称号。

谈及进军音乐内容创作，前微软互联网工程院副院长、现任小冰公司首席执行官李笛告诉北京青年报记者，不同于此前的诗歌创作、视觉创作、演唱，音乐创作对人工智能小冰来说难度更大，“音乐是流媒体，对作品的流畅度要求很高。此前小冰在音乐创作中的能力主要是内容的生成，比如演唱，这一次小冰学习的作词、作曲和编曲其实更难。”

如何让人工智能学会音乐创作呢？小冰团队与上海音乐学院老师告诉北青报记者，让人工智能小冰开始音乐创作的学习过程分三步：

首先，基于小冰已有的音乐创作模型，团队把端口给到上海音乐学院的老师，让老师去听小冰创作的海量音乐作品，并给出系统性的点评。

其次，老师也教会团队程序员基本的乐理知识，包括编曲技巧等，用于优化小冰的创作模型。

最后，小冰不断学习，不断交作业，老师不断给反馈。无论“模型”“作业”还是“反馈”，都是一个不断迭代的过程，如此循环往复……

当小冰达到和人类同学相似的水平，且趋于稳定，她就毕业了。

在上海音乐学院学习期间，小冰接受了来自音工系主任于阳教授和陈世哲老师的“指导”。谈及教学模式，陈世哲老师说，教学生学习音乐创作和教授人工智能有相似之处：“传统教学方式，我们会让学生学习经典的作品、然后临摹，接下来老师批改、学生再反馈。人工智能和普通学生的学习方式并没有太多差异，我们同样也是给小冰准备了一些数据，小冰学习之后进行创作，老师再来进行评估，来指出哪里有问题，继续去修改，一起来完成。”

当然也有不同。陈世哲评价说“小冰是个学习能力超强的学生”，“教学过程中最大的不同是，小冰的迭代速度是人类完全不可能企及的，比如说一个学生学习、临摹一首曲子、写出作业、老师修改，这个过程至少要一周时间，但是在对小冰的教学中，我们一口气放过去几百首甚至更多曲子。”

陈世哲老师介绍，判定学生能否顺利通过毕业的考核大体有三条水平线，“最高级创作线是顶尖的流行歌曲，譬如可以拿到格莱美奖、最佳金曲奖的水平；中间线是创作水准不错的普通流行歌曲；基本线是创作广告、电视剧、纪录片配乐等。经过半年的学习，我们认为小冰已经达到基本线普通、简单歌曲的创作能力，不断接近中间线的创作标准，所以我们给了她荣誉毕业生的称号。实际上她的水准已经很接近中间线，我们也期待小冰继续按照研究生的标准来入学。”

李笛表示，“对于音乐产业化，人工智能可以在不需要人力参与的情况下，用稳定的质量、极低的成本、高并发地生产内容，并供应出去，未来在视频、影视配乐等产业的落地都有很大的空间。”

揭秘

音乐人工智能

3秒创作完整歌曲

人工智能的算法进入到艺术创作当中，对传统音乐的创作产生了巨大的影响。2019年，华为公司利用Mate20Pro中的AI，对奥地利作曲家舒伯特未完成的《第八交响曲》剩余曲谱进行了谱写，并在伦敦的一场音乐会上进行了公演。与舒伯特的未完稿不同，贝多芬的《第十交响曲》几乎没有任何曲谱，由于病情恶化，贝多芬只画了这部作品的几张草图就溘然离世。创意人工智能初创公司Playform的一群科学家和音乐学家完成了贝多芬未竟的事业，他们经过两年多的努力，不仅让人工智能学习了贝多芬的全部作品，还教会了它贝多芬的创作过程。2021年10月，这台人工智能帮助贝多芬续写了《第十交响曲》，并在德国波恩举行首演，吸引了世界的目光。

“像人类的学习一样，人工智能也是通过语料库学习海量的内容，然后‘创作’新的作品。”面对人工智能超强的学习能力，中央音乐学院音乐人工智能与音乐信息科技系主任、教授李小兵忍不住感慨，“实在是太强了！”2021年，由李小兵作为首席专家申报的《音乐与人工智能协同创新发展理论研究》入选2021年度国家社科基金艺术学重大项目。该课题从音乐学、脑科学、人工智能、计算机科学等多个领域入手展开跨学科研究，以“音乐创作与人工智能协同创新发展”“音乐呈现与人工智能协同创新发展”“音乐接受与人工智能协同创新发展”“音乐人工智能哲学——美学”为四个子课题，围绕人、音乐、人工智能三者的相互关系，对音乐与人工智能协同发展中的问题进行深入全面的研究。

随着研究的深入，音乐人工智能在效率上不断精进。李小兵透露，目前人工智能最快3秒就可以创作出一首歌曲。“原来最快是23秒，现在已经缩短到3秒了，3秒不仅是作曲，还包括演唱、伴奏、合成，也就是说出来就是一首完整的作品了。”

李小兵和他的团队将人类创作的歌曲和人工智能创作的儿童歌曲放在一起，邀请志愿者做过盲测，很难分辨出哪首是人工智能创作的。与人类的思维不同，李小兵用“盲盒”来形容人工智能，“音乐人工智能创作的东西有些与人类相同，有些却不太一样，甚至会让人瞠目结舌。”

观点

“音乐魅力在于演奏家的二度创作”

“人工智能和艺术的结合最难的一块实际上就是音乐。”上海音乐学院音乐工程系主任、作曲家于阳对北青报记者说，“有章可循的容易实现，但音乐是时间的艺术，听觉上给人的感受变化无穷，有太多不确定性。受限于技术水准、数据等因素，现在的音乐人工智能还处于初级阶段，需要进一步探索和研究。”

李小兵也认为，与文本、语言相比，音乐的维度要多很多，有音高、节奏、强弱、情感等，也要复杂得多，因此音乐人工智能需要更大的模型和算力，也要最顶尖的科学家和艺术家携手。尽管人工智能作曲可以通过学习海量的作品，模仿作曲家的创作通过图灵测试，在演奏方面也可以做到精准无误，但业内人士普遍认为，就情感来说，这些作品与人类创作的作品还是有很大区别的。

“这就是音乐的魅力所在。一首钢琴曲，十个演奏家弹出来是十种完全不同的感受，这里面就有演奏家的二度创作。这种感受的不同是机器取代不了的。”于阳说。

尽管不能代替人类最核心的创造力，但目前人工智能已经可以辅助人类做很多事情，尤其是大量重复性、基础性的工作。

“20年前，我们都是在五线谱上写东西，现在大部分作曲家都是用电脑软件创作了，这实际上就是人工智能的一种形式。”身为作曲家的于阳表示，写作完成后，软件还能自动生成演奏，作曲家可以随时在上面修改、调整，“人工智能大大提高了创作效率。”

李小兵也认为，“如果要创作高水平的音乐，如电影配乐或是一线的、能打榜的流行歌曲，人工智能还有很长的路要走，但一些背景音乐，人工智能的创作已经能够符合人们的欣赏需求。”

随着音乐人工智能的深入发展，未来的音乐会有翻天覆地的变化。在李小兵看来，未来音乐可能不止3D音乐、机器人主持、交互多媒体、人工智能伴奏、虚拟现实、机器人指挥、机器人演奏、机器人演唱等，更有可能会出现新形态，“就像照相机出现以后，迫使美术界发生了特别大的改变，出现了一批照相机不能代替的大艺术家，随着音乐人工智能研究的深入，未来的音乐创作更加弥足珍贵，也一定会诞生让人意想不到的新的音乐形态。”

本版文/本报记者 田婉婷 张知依

统筹/刘江华 供图/视觉中国

潮流档案

AI通过自身强大的数字处理能力兼顾歌曲从制作到演唱的全流程，实现化繁为简，在短时间内完成音乐作品创作。通过算法学习和“实战”训练来学习如何写歌，非音乐工作者也可以借助这种技术创作出属于自己独一无二的曲子。

行业布局

科技巨头投资各有重点

资本早就意识到了音乐人工智能的商业价值，人工智能科技巨头都在积极布局：早在2016年，字节跳动就成立了AI Lab，对AI进行深入研究；网易云音乐在2020年战略投资了AI音乐公司AIVA，重点放在了AI辅助音乐创作领域；腾讯AI Lab推出了AI数字人“艾灵”,可以通过用户提供的关键词自动生成歌词并演唱；字节跳动开发的基于Tacotron声学模型和WaveRNN神经网络声码器的中文歌声合成(SVS)系统——ByteSing、微软研究院发布的AI音乐开源项目Muzic等都在试图证明人工智能可以完成音乐的整个生产过程。

学科储备

首批音乐人工智能博士今年毕业

各大高校也在迅速推进音乐人工智能的研究和应用。中央音乐学院、上海音乐学院、四川音乐学院等高校纷纷开设音乐人工智能专业。2022年7月，中央音乐学院首批音乐人工智能的博士就要毕业了，他们成为了各大互联网公司争抢的人才。“因为社会对音乐人工智能的人才需求量巨大，现在大的互联网公司用的大部分都是从声学专业转过来的，可能不是专门学习音乐人工智能专业的，所以说目前我们这个专业的博士毕业生非常抢手。”李小兵说。

“通常情况下，搞音乐的人不懂科技，搞科技的人不懂音乐，音乐人工智能是个交叉领域，我们现在做的事情就是把这两方面结合起来。”于阳透露，上海音乐学院的人工智能博士采取双导师制，音乐和技术的导师各一名。“音乐人工智能未来可期，现在要跨出这一步很重要。但目前人才缺口还是很大的。”

大事记

2019年

深圳交响乐团演奏了全球首部AI交响变奏曲《我和我的祖国》，这也是该曲目的世界首演。

2020年7月9日

由微软小冰、小米小爱、百度小度、Bilibili泠鸢四位人工智能机器人合唱的主题曲《智联家园》亮相 2020年世界人工智能大会开幕式。

2021年10月9日

人工智能续写的贝多芬《第十交响曲》在德国发布，引发世界关注。