2018

2.7 有结构的回归模型
第 32-33 页。在实际有限训练样本中，不加限制地对回归函数进行逼近必然会产生过拟合。所以会根据某些假设约束函数的形态，或者以机器学习的语言来说约束模型的自由度。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）
2.8 有约束的估计模型类型
第 33-36 页。简略地介绍了三种约束了函数特征的模型类型：类似于贝叶斯方法的对函数的粗糙程度添加惩罚项；使用核函数对局部进行加权平均或拟合的方法；以及从字典中选取基函数构建的模型。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）
2.9 模型选择和偏差方差权衡
第 37-38 页。模型过于复杂，则预测的偏差小方差大；模型不够复杂，则预测的偏差大方差小。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）
3 线性回归方法
第 43-100 页。线性方法简单而有效，而且是很多非线性方法的基础。
王冠嵩
最近更新于 2022-06-21 统计学习基础（译注）
3.2 线性回归模型和最小二乘
第 44-56 页。系统介绍线性回归模型的最小二乘解及其在向量空间上的含义，在附加的分布假设下，可以建立假设检验和置信区。高斯-马尔可夫定理说明了最小二乘法在无偏估计中的最优性，但也同时引入了估计量的偏差和方差权衡问题。对输入变量空间的正交化，为最小二乘法的计算和直观理解提供了新的角度。
王冠嵩
最近更新于 2022-05-27 统计学习基础（译注）
3.3 变量子集选择
第 57-61 页。为了控制方差，在高维问题中通常在模型中只包含一小部分强有效的输入变量。本节介绍了以线性模型为基础的几种分步式的变量选择方法。
王冠嵩
2018-09-18 统计学习基础（译注）
3.4 收缩方法
第 61-79 页。收缩方法在模型拟合的最小化问题中加入了惩罚项，从而对不稳定系数的估计值进行“收缩”，从而控制预测的方差。不同的惩罚项便对应了不同但相似的回归方法：岭回归、套索回归等等。最小角回归与套索回归的内涵极其相似，并提供了一种高效率的计算方法。
王冠嵩
最近更新于 2022-09-20 统计学习基础（译注）
3.5 衍生输入变量的方法
第 79-82 页。利用原输入变量（以及输出变量），衍生出一组维度低但信息含量大的“方向”，使用衍生出的变量进行回归。本节的两个方法主成分回归和偏最小二乘，其原理和表现均与岭回归相似。
王冠嵩
2018-09-23 统计学习基础（译注）
3.6 讨论：子集选择和收缩方法的比较
第 82-83 页。通过简单的二维线性回归例子，对目前为止出现的收缩方法的性质进行总结和比较。总的来说，岭回归可作为默认推荐的选择。
王冠嵩
2018-09-24 统计学习基础（译注）
3.7 多输出变量 😱
第 84-86 页，本节难理解，可选择跳过。在多输出变量的回归模型中，降秩回归利用典型相关分析的思路合并输出变量中的信息，从而降低输出变量空间的维度。
王冠嵩
2018-09-24 统计学习基础（译注）