319JournalofBeijNormalUniversity(NaturalScience)59(2)2023-04北京师范大学自然科学版）高维支持向量机的一些新发展史宏炜饶昊宸郭旭（北京师范大学统计学院，100875，北京）摘要又对高维支持向量机（SVM）的一些新发展如非凸惩罚SVM,L范数SVM的误差界以及SVM在充分性降维中的应用进行了介绍；通过数值模拟和实例分析，展示了这些新方法在有限样本时的表现；讨论了一些可能的方向和问题。关键词二元响应变量；支持向量机；惩罚估计；误差界；变量选择；充分性降维中图分类号0212D0I:10.12202/j.0476-0301.20223140引言分类是机器学习领域的一个核心问题.支持向量机（supportvectormachine，SVM)是一种功能强大、精度高并且灵活性强的分类算法，自被提出以后就受到了众多学者的关注和研究.早期研究及应用中，SVM通常利用样本数量的所有特征来建立分类规则.随着数据收集能力的提升，研究所获取的数据往往包含大量的复杂特征；特征数量甚至远大于样本量，只有小部分特征有助于分类研究，其他特征都是余的.研究时利用全部特征可能会产生大量的误差积累，从而对分类结果产生不利的影响.例如：垃圾邮件分类问题，尽管存在大量单词，但真正有助于分类的很少；在实际中，有效的单词是未知的，因此需要构建合适的特征选择方法，这样不仅可减少计算量，提高分类器的预测精度，同时还可简化模型并提供合理解释。SVM特征选择问题已得到了广泛研究.Weston等[2]提出了一种尺度法来选择重要特征；Guyon等[3]提出了SVM递归特征消除法.Wahba[4论证了标准SVM可以纳入正则化框架中：合页损失加L惩罚，称作L范数SVM；由于L范数SVM无法获得稀疏解，不能自动选择变量，因此其泛化性能会因包含过多穴余特征而受到不利影响[5]。一些学者提出了使用稀疏惩罚来代替L惩罚，从而同时实现变量选择和参数估计，例如：Bradley等[6]、Zhu等[17,以及Wegkamp等[8]考虑了L范数SVM;Wang等[9-10]提出了结合L,与L惩罚的SVM,即elasticnet惩罚SVM;ZouI提出了使用adaptiveLASSO的惩罚SVM.为消除L,惩罚可能造成的偏差，Zhang等[12]、Becker等[13],以及Park等[14]考虑了基于非凸惩罚SCAD的SVM.对于特征选择方法，一个关键的理论问题是能否将真正重要的特征以很大的概率选择出来。鉴于此，在固定维数下，Park等[14]提出了SCAD惩罚SVM的Oracle性质，即估计分类器与真实分类器表现渐近一致；Zhang等[15]在超高维下建立了一般的非凸惩罚SVM的Oracle性质，如SCAD或MCP.然而这种模型选择一致性的结...
