2018

10.6 损失函数和稳健性
第 346-350 页。平方误差损失（回归问题）和指数损失（分类问题）在前向分段加性模型中可得出简洁的提升算法步骤，但缺乏稳健性。Huber 损失函数是一个较好的替代，并且通过梯度提升方法也能得到简洁的算法步骤。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）
10.7 数据挖掘中“现成”的方法
第 350-352 页。鉴于数据挖掘应用的具体要求，树状模型是一个近乎理想的现成方法，只是其准确性欠佳。提升方法可大幅度地改善树状模型的准确性，但也会牺牲一些其他性质。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）
10.8 示例：垃圾邮件数据
第 352-353 页。以垃圾邮件数据为例，演示了基于树模型的梯度提升方法的效果。在众多方法中，其误差率最低。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）
10.9 提升树模型
第 353-358 页。对树模型使用提升算法，一般会用一个近似过程来代替对整体的最优化计算。这个过程可分为两部分，给定分割区域后确定区域上的拟合值通常比较容易，寻找最优分割区域通常比较困难。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）
10.10 通过梯度提升进行数值最优化
第 358-361 页。去掉树模型的约束后，可以通过最陡梯度的方法求解前向分段加性模型，但对新数据点的预测中并无法计算梯度。一个解决方法是将训练集上的负梯度作为残差，然后用树模型进行拟合，这样的方法就是梯度树模型提升。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）
10.11 提升方法中树模型的合理大小
第 361-364 页。提升方法中的树模型大小体现了自变量中交互项的阶数。经验来说可选择 4 至 8 之间的取值，或直接令树大小为 6。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）
10.12 正则化
第 364-367 页。对梯度提升模型的正则化，可以通过交叉验证或早停法确定合适的循环次数；可以类比岭回归而引入“学习率”；可以类比自助聚合而得到随机梯度提升方法。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）
10.13 模型解释
第 367-370 页。梯度提升方法中可用相对重要性来衡量自变量与输出变量的相关程度排序；可用部分依赖图来直观地展示自变量子集对近似函数的影响。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）
10.14 示例
第 371-383 页。用三个实际例子演示了梯度提升方法：用人口、地理和特征数据预测加利福尼亚州街区房屋价值；用地理信息和生态变量来预测在新西兰周围水域中一种鱼的存在概率和捕获量；用人口统计学变量来预测职业。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）
11 神经网络
第 389-416 页。
王冠嵩
最近更新于 2022-06-14 统计学习基础（译注）