基于多核学习支持向量机的音乐流派分类

摘要： 针对不同特征向量下选择最优核函数的学习方法问题，将多核学习支持向量机（MKSVM）应用于音乐流派自动分类中，提出了将最优核函数进行加权组合构成合成核函 ヅ数进行流派分类的方法。多核分类学习能够针对不同的声学特征采用不同的最优核函数，并通过学习得到各个核函数在分类中的权重，从而明确各声学特征在流派分类中的权重，为音乐流派分类中特征向量的分析和选择提供了一个清晰、明确的结果。在ISMIR 2011竞赛数据集上验证了提出的基于多核学习支持向量机（MKLSVM）的分类方法，并与传统的基于单核支持向量机的方法进行了比较分析。实验结果表明基于MKLSVM的音乐流派自动分类准确率比传统单核支持向量机的分类准确率提高了6.58%，且该方法与传统的特征选择结果比较，更清楚地解释了所选择的特征向量对流派分类的影响大小，通过选择影响较大的特征组合进行分类，分类结果也有了明显的提升。

关键词：音乐流派分类；多核学习；支持向量机；特征选择；模式识别

中图分类号： 中图分类号是否有误，请核实？是否应为TP391.4对，应该为TP391.4TP391.4

文献标志码：A

英文摘要

Abstract：Multiple Kernel Learning and Support Vector Machine （MKLSVM） was applied to automatic music genre classification to choose the optimal kernel functions for different features， a method of conducting the optimal kernel function combination into the synthetic kernel function by weighting for music genre classification was proposed.

Different optimal kernel functions were chosen for different acoustic features by multiple kernel classification learning， the weight of each kernel function in classification was obtained， and the weight of each acoustic feature in the classification of the genre was clarified， which provided a clear and definite result for the analysis and selection of the feature vector in the classification of music genre. The experiments on the dataset of ISMIR 2011 show that， compared with the tϟraditional single kernel support vector machine classification， the accuracy of the proposed music genre automatic classification method based on MKLSVM is greatly improved by 6.58%. And the proposed method can more clearly reveal the the different features impacts on music genre classification results， the classification results has also been significantly improved by selecting features with larger effects on classification.

英文关键词

Key words：

music genre classification； multiple ker❤nel learning； Support Vector Machine （SVM）； feature selection； pattern recognition

0 引言

1 相关知识

1.1 支持向量机

支持向量机是从线性可分情况下的最优分类发展而来的，其本质就是在于寻找一个把训练空间Rd分成两部分的最优线性分类面w・x+b=0（Vapnik 1999）[4]，使得不仅能够把两类分开，而且两类的分类间隔最大，最终得到一个决策函数。

文献[2]最早提出了多核学习（Multiple Kernal Learning，MKL）的思想。Sonnenburg等[5]对Lukashevich等[3]提出的多核思想进行了推广和应用， 将最初的M☏KL扩展到更大规模，可以同时结合几十个甚至几百个核，极大地提升了多核学习在模式选择领域的应用。2012年，Lukashevich等[3]第一次将多核学习技术应用于音乐分类领域，证明了其在特征分析和流派分类上的有效性。

本文研究基于MKLSVM的音乐流派分类，研究流派分类问题中的特征选择和各特征的权重，分析音乐流派中不同特征的作用。MKLSVM模型如图1所示。

从图1中可以看到，MKLSVM在传统的SVM和输入数据之间加入了多核学习的过程，用多个核函数的线性组合作为最终的核函数（称为合成核）。多核学习分类较之单核的情况，能够更细粒度地照顾到各个不同特征的特性，针对不同特征可以选取各自最适合的核函数。

2 音乐流派分类

2.1 数据集

2.2 声学特征向量

2.3 MKLSVM特征选择

前文提到，通常的特征选择算法只能给出最终的特征选择结果，而对于为什么会有这种结果却无法给出合理的解释。基于多核学习的特征选择，在选取最优特征组合的同时还可以得出不同核的权重，可以清楚地得到不同特征对分类的影响。

利用MKLSVM进行流派分类中的特征选择的算法步骤如下：

1）对于每一组特征，分别用单核SVM选出其对应的最优核参数，确定10个核函数；

2）顺序添加各个子核及其对应训练数据、测试数据，开始多核训练；

3）初始化权向量W，利用利用牛顿下降等优化算法对W进行更新直到多核目标函数收敛；

4）输出结果权向量W，按照权重值对各组特征进行排序、选择；

5）选择前K组特征进行分类，并与未作特征选择的结果进行比较，循环操作直至选择出最佳的K值。

3 实验及结果分析

3.1 SVM最优参数选择

SVM具有非常完备的数学理论基础，使得它具有非常好的稳定性。对于不平衡的数据集⌘，通过设置正例、负例不同的惩罚系数，很容易避免不平衡对于训练结果的影响。训练具有独立性，即分类器的训练可以在测试样本特征到达之前完成，实时性比较好。但是，SVM核函数的参数对于SVM性能的影响非常大。

在流派分类中最常用的SVM为RBF核函数的SVM，而影响RBF核函数SVM性能的参数有误差惩罚系数c、参数σ（参见式（4））。考虑到SVM对c值并不是特别敏感，只要c不是特别小，分类效果都比较不错[7]。为此，实验中只训练集分类效果对参数σ进行选择，该算法的前提是：对于满足特定条件的c值，总能找到一个参数σ使得分类的效果达到最佳。

3.2 基于MKL的特征选择

实验中，根据基于MPEG7标准的分组结果[8]，利用3.1节的方法，给每组特征一个单独的核进行学习，选取每组特征的最优参数核函数；然后通过对权向量的不断优化学习，在分类过程中得到图3多核学习中的权值分布。

从图3中可以明显看出，在流派分类过程中对分类结果影响权重最大的四个特征组分别为特征组2，3，6，7，而影响最小的三个特征组分别为特征组5，4，1；清楚地给出了什么特征对于流派分类影响最大，什么特征对流派分类的影响较小。

3.3 MKLSVM分类

前面提到，特征选择可以看作为流派分类的过程之一。特征选择在降低特征向量维度、减少特征向量冗余度、提高分类学习效率的同时，也提高了分类的准确率[9]。本文中，将多核学习的特征选择结果同交互前向特征选择算法[10]的结果进行了比较。交互前向特征选择（Interaction Based Forward Feature Selection，IBFFS）是Wrapper特征选择算法的一种，其基本思想是以SVM分类器为最终评价标准，利用多次迭代，选取最佳的特征组合。在10大类音乐流派分类中[11]，IBFFS特征选择算法给出了分类效果最优的特征组合和分类结果[10]。但对于为什么会有这种结果却无法给出合理的解释，更无法说明其中的每一个特征到底起多大作用。

实验结果发现：IBFFS特征选择得到的4组特征组合分别为ASE均值、ASE方差、SFM均值和SFM方差，从前面表2中可以看到其结果与MKL的结果完全相同。这一结果证明了MKLSVM进行特征选择的有效性。

3.4 分类实验结果比较

实验中还将MKLSVM与单核SVM进行了比较，不同分类方法下总的分类准确率比较如表4所示。

从表4中可以看出，MKLSVM的分类准确率比单核SVM提高了6.58%，与IBFFS特征选择后的结果一致，比传统的特征选择方法如前向特征选择算法（Forward Feature Selection，FFS）、Relief特征选择算法以及Fisher特征选择算法的结果都要好[12]。

4 结语

音乐流派自动分类中使用了很多不同类的声学特征，不同特征的对于流派分类的贡献不同。本文研究了不同特征向量下选择最优核函数的学习方法，并将得到各个最优核函数进行加权组合构成一个合成核进行音乐流派分类的方法，有效地解决了音乐流派分类中特征向量分析和选择的问题，更

清楚地解释了不同特征向量对流派分类的影响大小。

由于多核学习支持向量机中只研究了SVM作为分类器的分类效果，其分类结果受到了分类器的影响。因此，下一步的工作将考虑引入多核多分类器，并对特征进行稀疏表示后进行组合研究。

参考文献：

[3]LUKASHEVICH H. Applying multiple kernel learning to automatic genre classification [C]// Proceedings of the 34th Annual Conference of Challenges at the Interface of Data Analysis， Computer Science， and OptimizationStudies in Classification， Data Analysis， and Knowledge Organization

.Berlin： Springer， 2012： 393-400.

[4]VAPNIK V N. An overview of statistical learning theory [J]. IEEE Transactions on Neural Network， 1999， 10（5）： 988-999.

[5]

SONNENBURG S， RTSCH G， SCHFER C， et al. Large scale multiple kernel learning [J]. Journal of Machine Learning Research， 2006， 7： 1531-1565.