2018

3.8 更多关于套索回归和类似的路径算法
第 86-93 页。关于套索回归和类似算法的近期研究成果，例如分组套索回归，可对系数按组进行同时的收缩；自适应套索回归，在保持最优化问题的凸函数性质的同时，得到系数的一致估计量；坐标下降算法可以快速求解套索回归以及后续章节的很多方法。
王冠嵩
2018-09-27 统计学习基础（译注）
3.9 关于计算量
第 93 页。最小二乘拟合通常通过矩阵的分解来计算；最小角回归的计算量与最小二乘拟合相当。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）
4 线性分类方法
第 101-138 页。分类模型可被理解为将输入变量空间划分为不同的区域，每个区域会被赋予一个预测的类别。“线性”指的是这些区域的决策边界是线性的（直线或平面），或经过某些单调变换后呈线性。如果在经过扩展后的输入变量空间上构建线性决策边界，还原到原始空间上则可得到非线性的决策边界。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）
4.2 指示矩阵的线性回归
第 103-106 页。直接对类型的指示变量进行回归，可视为对条件概率的估计。在类型多而输入变量维度小时，这种方法会导致有部分类型被完全屏蔽掉。
王冠嵩
最近更新于 2022-06-23 统计学习基础（译注）
4.3 线性判别分析
第 106-119 页。根据比较条件于不同类别下的概率大小来分类，在同协方差矩阵的高斯分布假设下，得到线性判别分析；在不同协方差矩阵的假设下，得到二次判别分析。线性判别分析同时可以应用在降维的输入向量空间上，这也提供了分类问题可视化的工具。本节的逻辑有些生涩，需要再次修整。
王冠嵩
2018-10-08 统计学习基础（译注）
4.4 对数几率回归
第 119-128 页。对数几率回归，或者逻辑回归，应该是最广泛使用的模型。通过最大似然估计法求解，可使用牛顿-拉弗森的最优解法，或利用其与最小二乘的关系采取迭代重加权最小二乘的方法。如同套索回归，也可加入惩罚项进行正则化。虽然在条件概率分布上的模型结构一致，线性判别分析对输入变量的边际分布也有约束，而对数几率回归则完全忽略了边际分布。
王冠嵩
2018-10-09 统计学习基础（译注）
4.5 分离超平面
第 129-135 页。当训练样本在输入空间上可以被线性的超平面完全分开，则存在分离超平面；其中让不同类型之间的边界区域尽可能大的为最优分离超平面。
王冠嵩
最近更新于 2022-05-13 统计学习基础（译注）
5 基拓展和正则化
第 139-190 页。第五章为基拓展及其正则化方法，进入非线性方法的范畴。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）
5.2 分段多项式和样条函数
第 141-150 页。样条函数，或满足某些连续性条件的分段多项式函数，可以捕捉到特征变量的一些非线性的影响。
王冠嵩
最近更新于 2022-09-22 统计学习基础（译注）
5.3 滤波和特征提取
第 150-151 页。音素识别的例子实际是从大量原始输入变量中降维构建出少数更有意义的特征变量，再在提取出的特征上使用某种学习方法，通常会得到效果更好的模型。
王冠嵩
最近更新于 2022-09-22 统计学习基础（译注）