10.3 前向分段加性模型

前向分段（forward stagewise）的方法依次向展开式中添加新的基函数，而不改变其中已经加入的基函数的参数和系数，其结果近似于式 10.4 的解。算法 10.2 概括了计算过程。在每个迭代步骤 $m$ 中，求解待添加到当前展开式 $f_{m - 1} (x)$ 中的最优基函数 $b (x; γ_{m})$ 和对应的系数 $β_{m}$ 。这样就得出了 $f_{m} (x)$ ，继续重复这个过程。在此之前加入到模型中的项不做修改。

算法 10.2：前向分段加性模型

初始化 $f_{0} (x) = 0$ 。
对 $m = 1$ 到 $m = M$ ，重复：
1. 计算 $(β_{m}, γ_{m}) = \underset{β, γ}{\arg min} \sum_{i = 1}^{N} L (y_{i}, f_{m - 1} (x_{i}) + β b (x_{i}; γ))$
2. 令 $f_{m} (x) = f_{m - 1} (x) + β_{m} b (x; γ_{m})$

对于平方误差损失函数：

\begin{matrix} (10.6) & L (y, f (x)) = (y - f (x))^{2} \end{matrix}

则步骤 2.1 中的损失函数可写为

\begin{aligned} L (y_{i}, f_{m - 1} (x_{i}) + β b (x_{i}; γ)) & = (y_{i} - f_{m - 1} (x_{i}) - β b (x_{i}; γ))^{2} \\ (10.7) & = (r_{i m} - β b (x_{i}; γ))^{2} \end{aligned}

其中的 $r_{i m} = y_{i} - f_{m - 1} (x_{i})$ 即为当前模型在第 i 个样本上的拟合残差。因此对平方误差损失来说，每一步中添加到展开式的是对当前残差拟合最好的 $β_{m} b (x; γ_{m})$ 项。这也是第 10.10.2 节中介绍的“最小二乘”回归提升的基本思路。然而在下一节的末尾会说明，在分类问题中平方误差损失函数一般不是一个好的选择；因此需要考虑其他的损失准则。