AI科技大本营：人人都是作曲家：基于深度神经网络的音乐风格迁移/dQCFKyQDXYm3F8rB0/article/details/79070257
早在，斯坦福大学人工智能实验室和计算机视觉实验室负责人李飞飞教授就表达了这样的观点。“我觉得科学到科技再到产品就像一个4100的接力赛，就是每一棒都有它的特定功能。学术界应该算是这个领域里，4100接力赛的第一棒，工业界和实验室是第二棒，产业界和投资界这些事第三、第四棒。现在，我们已经把感知问题交接了。对于我个人而言，我接下去会更关注认知问题，这其实是人类最重要的一部分。”
在我看来，风格迁移正是我们在从感知阶段跨越到认知阶段的重要问题，首先它包含对图像、语音、文本或者音乐的理解，其次它能够帮助人们进行创作，而不是仅仅作出判断。
随着对深度神经网络（DNN）的研究飞速发展，工业界在图像、语音、文本等领域的识别和分类任务上都取得了很大进展，图像风格迁移随着GAN的发展如火如荼，阅读理解的研究也为文本风格迁移提供了基础，但在音乐风格迁移领域还存在很大发展空间。
在我看来，音乐风格迁移任务基于音乐分类任务。首先音乐分类任务的实际应用场景非常多，比如音乐APP的playlist推荐。
接下来AI科技大本营的一篇文章简要介绍了他们对音乐风格迁移的理解和研究。1.为什么音乐风格迁移是困难的？（1）不同于图像，对于音乐的理解是更加困难的。图像的内容非常容易捕捉，例如颜色，光线明暗，出现的图案，人，动物。而音乐在语义上更加抽象和复杂。音乐内容既可以指曲调，也可以指歌词，风格也不仅仅指编曲和和声。一副毕加索风格的画像不会因为画像中的图案是狗或者人脸而让人们对图像风格产生质疑，但是音乐的风格却会因为演奏者的表现力不同被评为完全不同的风格。因此从音乐中学习到“优秀”的特征，更好地理解音乐应是我们现在工作的重心。（2）音乐是时序的，音乐是一种时间序列数据，虽然循环神经网络（RNN）和长短期记忆网络（LSTM）可以使模型更加高效地学习时序数据，但是我们仍没有开发出能够学习复制音乐中长期结构的模型。（3）音乐是离散的，符号音乐或乐谱在本质上是离散的。十二平均律系统是当前使用最普遍的调音系统，其音高在连续的频率谱中处于离散的位置。，音符时值也离散的（通常表示为四分音符、全音符等）。2.如何简化并解决问题？（1）首先从单音乐曲入手。单音乐曲就是音符序列，每个音符都有自己的音高和时值。音高的变化通常取决于曲调的音阶，时值的变化则取决于节奏。我们将单音曲调表示为乐符序列，每个乐符都有一个音高和一个时值。（2）在本研究中，我们使用的架构类似于Colombo等人使用的架构，即用一种类型的音乐同时训练两个基于LSTM的网络：在给定前一音符和音符时值的条件下，学习如何预测下一音高的音高网络；在给定下一音符和前一音符时值的条件下，学习如何预测下一音符时值的时值网络。3.存在缺陷？（1）并没有实现真正的乐曲风格迁移，而是从给定一首乐曲，转换到目标乐曲风格。模型需要从一种类型的音乐学习音高和音符市值模式，然后将学习到的所有模式泛化到另一种类型的音乐。（2）无法控制风格改变的程度。（3）模型无法保留歌曲的长期结构。
