首先考虑一个非常简单的例子,只有一个来自正态分布的观测样本
要进行贝叶斯分析,需要指定先验分布。最方便和常用的分布是
这与从样本密度最大似然估计
要使这个对应关系成立,有三个条件:
- 选择
的无信息先验分布。 - 数据
只通过最大似然估计 来影响对数似然函数 。因此也可将对数似然函数写为 。 - 对数似然函数对
和 有对称性,即 。
条件(2)和(3)本质上只对高斯分布成立。然而两者对多项分布也近似成立,这使得非参数自助法与贝叶斯推断之间存在对应关系,下面进行简要介绍。
假设在一个离散的样本空间上,共有
即先验概率质量函数与
其中
自助分布,即从数据中有放回的抽样,现在可视为从一个多项分布的类别比例进行抽样。具体来说:
其中
这样看来,自助分布相当于参数的(近似)非参数无信息后验分布。然而要得到自助分布很容易,不需要正式地指定先验函数也不需要从后验分布抽样。因此,可以认为自助分布是“山寨版”的贝叶斯后验分布。自助法通过对数据加入随机性来达到贝叶斯方法中参数随机性的效果,并且通常非常容易实现。
-
原文的表达式 8.32 和 8.33 中的分布参数写为
。因为在别处没有出现过 ,译者将其改为了 。 ↩︎