11.8 讨论

投影寻踪回归和神经网络模型都是使用了参数为输入变量的线性组合（“衍生特征”）的非线性函数。这是一个适用于回归和分类问题的强大而且通用的方法，并且在很多问题中已证实了可与一些最好的学习方法进行比较。

这些工具尤其地适用于有高信噪比的问题中，以及目的为预测而不是解释说明的场景中。它们不太适用于需要描述数据的客观生成机制和输入变量的具体作用的问题。因为每个输入变量都会以非线性的方式在很多不同的地方进入到模型中。一些作者（Hinton, 1989）用每个隐藏单元的输入权重估计的图来试图理解每个单元提取出的特征。不过这受限于参数向量 $\alpha_m$，$m=1,\dots,M$ 的缺乏可识别性。通常解中的 $\alpha_m$ 所拓展的线性空间与训练中的一样，这样会得出大致相同的预测值。¹一些作者建议对这些权重进行主成分分析，从而找到一个可理解的解。通常，这些模型的难以解释性限制了它们在看重模型解释的领域中的使用，比如医学。

关于神经网络模型的训练，有非常大量的研究。与比如 CART 和 MARS 的方法不同，神经网络模型是以实数参数为输入变量的平滑函数。这让这些模型比较容易进行贝叶斯推断。下一节会讨论神经网络模型的一个成功的贝叶斯实现。