12 支持向量机和灵活判别

本章介绍对分类问题中线性决策边界的推广。

第四章介绍了在两个类别线性可分（linearly separable）的场景下的最优分离超平面（optimal separating hyperplane）。我们会拓展到不可分的情况下，即两个类别存在重叠。然后将这些方法一般化，就得到了支持向量机（support vector machine）。它在特征空间经过转化处理后的一个高维空间上构建线性边界，从而生成了（原空间上的）非线性边界。

另外一些方法推广了费雪（Fisher）的线性判别分析（LDA）。这些推广方法包括：

  • 灵活判别分析（flexible discriminant analysis），其构建非线性边界的方式与支持向量机很相似；
  • 惩罚判别分析（penalized discriminant analysis），适用于存在大量高度相关特征变量的信号和图片分类；
  • 混合判别分析（mixture discriminant analysis），适用于不规则形状类别的分类。

内容概要

  • 12.2 支持向量分类器

    第 417-422 页。

  • 12.3 支持向量机与核函数

    第 423-438 页。支持向量机的计算方法、模型原理、和在回归问题上的应用。

  • 12.4 线性判别分析的扩展

    第 438-440 页。与 SVM 的想法类似，可以通过基扩展和正则化的方法将 LDA 推广为更一般性的模型；同时，将类别中心点从一个高斯分布变成多个的混合，也可得到更灵活的模型。

  • 12.5 灵活判别分析

    第 440-445 页。判别分析的方法也可以用多个回归进行复现。当回归中使用了线性函数，就得到了 LDA，当使用了其他任意非线性函数，就得到了 FDA。

  • 12.6 惩罚判别分析

    第 446-449 页。若 LDA 可通过线性回归实现，那么当自变量很多时，适当的正则项会有助于模型的表现。

  • 12.7 混合判别分析

    第 449-454 页。如果从原型方法来理解 LDA，也就自然地可以加入更多的中心点（原型），从而使一个类别不对应一个分布。同时也仍可以继续使用 PDA 中的正则项。

  • 12.8 关于计算量

    第 455 页。

本章练习

参考文献

The theory behind support vector machines is due to Vapnik and is de- scribed in Vapnik (1996). There is a burgeoning literature on SVMs; an online bibliography, created and maintained by Alex Smola and Bernhard Schölkopf, can be found at:

http://www.kernel-machines.org .

Our treatment is based on Wahba et al. (2000) and Evgeniou et al. (2000), and the tutorial by Burges (Burges, 1998).

Linear discriminant analysis is due to Fisher (1936) and Rao (1973). The connection with optimal scoring dates back at least to Breiman and Ihaka (1984), and in a simple form to Fisher (1936). There are strong connections with correspondence analysis (Greenacre, 1984). The description of flexible, penalized and mixture discriminant analysis is taken from Hastie et al. (1994), Hastie et al. (1995) and Hastie and Tibshirani (1996b), and all three are summarized in Hastie et al. (2000); see also Ripley (1996).

2018

最近更新于 2022-06-14