题目:
在本题中,我们将贝叶斯估计应用到确定性参数的估计问题。因为参数是确定的,我们将先验PDF指定为
,其中
是真值。在此先验PDF下求MMSE估计量,并解释你的结果。
解答:
由公式10-5的推导,我们可以得到θ的MMSE估计量是:
![]()
贝叶斯估计的最核心假设就是待估计参数θ是随机变量,上述公式的意义就是:使得贝叶斯MSE最小的估计量是随机变量θ在概率分布
(也称为后验概率)上的期望(均值),其中
是一组观测到的测试数据,或者也可以写为:
![]()
由贝叶斯定理,可以得到:
![]()
因此:

其中,
是联合概率(joint),
和
是条件概率,
和
是边缘概率。特别的,在贝叶斯估计中,
称为后验概率(posterior),
称为似然概率(likelihood),
为证据因子(evidence),
为先验概率(prior)。
根据联合概率与边缘概率的关系:
![]()
因此,最终的后验概率为:

因此
的MMSE可以改写为:

需要注意的是,
中已经不包含
,因此可以直接从上述积分中直接提出,得到:

再代入先验PDF,得到:

由δ函数的筛选性,即:
![]()
参考:
因此:

因此,在理想的先验PDF下,也就是θ为确定参数
的情况下,参数
的MMSE估计量也是
。
但是通过上述推导,我们发现没有找到一个映射函数,在获取先验知识
和观测数据后
,用于计算
,因此在确定性参数条件下(
),θ的MMSE估计量不是
不是一个有效估计(a valid estimator)。
需要注意的是,这里的有效估计,不是指的估计的有效性(Efficiency)。