【文献阅读】TaikoNation:基于模式的音乐谱面自动生成

原文:TaikoNation: Patterning-focused Chart Generation for Rhythm Action Games(FDG21)

Introduction:

通过机器学习生成程序内容目前已经受到一些关注(如2D横向游戏),许多未被关注的游戏可能会因此受益。此论文关注一种游戏类型:节奏游戏。节奏游戏的内容是玩家对给定的曲目,根据不同的等级,在一定时间内打击一定数量的预定义音符。游戏谱面一般是由个人作者制作的,需要一定的时间和一定的专业知识。比如Rock Band4游戏有1700多个不同的音乐谱面可供下载游玩。此论文关注于使用机器学习自动生成谱面。

先前已经有一些工作关注了谱面生成,但是仍有一些问题需要解决。首先是音符的起始检测,它是指分析一段音乐来定位每个音乐节奏点的起始位置。起始检测一直是相关工作的焦点,比如Dance Dance Convolution(下简称DDC)。然而,仅仅放置音符并不足以生成一个吸引玩家的谱面,尤其是在高难度谱面中。高难度谱面一般包含不同的音符模式(音符摆放的相互关系)。模式是高质量谱面的重要组成部分,是谱师对音乐的独特诠释。但是相关的研究,如确定在一根轨道上放置音符的次数,来创造一个类似人类打击模式的谱面,还没有被探索。

此论文选择Taiko作为研究对象,这一游戏十分重视打击乐的节奏,更加适合生成人类模式的谱面。在整理了100个高质量谱面作为数据集后,作者训练了一个LSTM-RNN的神经网络,将音乐翻译为太鼓图。与之前的工作不同,TaikoNation同时预测多个输出,让模型能够输出更长的模式串。

该论文的贡献在于:使用LSTM对任意音频来生成Taiko谱面;创建了一个包含110个太鼓谱面的数据集用于机器学习;与现有的方法DDC进行了比较。

Background:

【PCG-ML】Procedural Content Generation via Machine Learning,使用机器学习为游戏生成新内容。模型一般采用序列到序列的机器模型,如LSTM。相关游戏包括超级马里奥。对音乐游戏来说,生成的序列长度会更长一些。

【谱面生成和PCG】早先的工作一般基于规则或是遗传算法。或是使用PCG方法。也有一些商业游戏使用PCG方法根据游戏音乐生成游戏内容。

【基于ML的谱面生成】DDC利用两个独立的机器学习模型来处理放置音符的时机,以及选择哪个音轨放置音符。PCGoRG拓展了DDC的工作。GenerationMania关注采样和选择,这个方面面对的游戏是IIDX,因为玩家的输入影响了歌曲的内容,这为谱面生成增加了难度。

Approch:

使用100个Taiko谱面作为输入,包含音乐和谱面信息。将音频文件分成23ms的片段,然后对每段提取特征。解析转换谱面信息用于训练。预处理后的数据被喂给LSTM-DNN网络,一次16个片段,模型每次预测4个note。完成训练后,使用模型基于一个16*23ms的滑动窗来预测一个输入的音乐,为每个时间戳平均预测结果。

Evaluation:

1.时间戳确定下的摆放位置比较(与随机)(衡量摆放位置的专业性)

2.时间戳确定下的摆放位置比较(与谱师)(衡量摆放位置的专业性)

3.采音检测(与谱师)(衡量采音的准确性)

4.模式数量(衡量谱面的丰富程度)

5.符合人体学的模式数量(衡量谱面的可玩性)

Limitation:

过拟合问题、难度控制问题、以设计师为中心的评估方法和以玩家为中心的评估方法

资源下载: