概率密度估计

第三章 概率密度函数的估计

一、参数估计

1. 估计的评估标准

1. 无偏性
2. 有效性
3. 一致性

2. 最大似然估计

(1) 最大似然估计的方法

最大化联合概率密度。注意均匀分布的特殊情况，此时需要与的约束。

(2) 正态分布下的最大似然估计

1. 一维情况：

假设样本为，则

2. 多维情况：

假设样本为，则

是一致的，也是无偏的；是一致的，但是不是无偏的，无偏估计是

3. 贝叶斯估计

(1) 贝叶斯估计的方法

1. 确定或猜测的先验密度

2. 求样本联合密度分布

3. 求参数的后验概率密度

4. 求参数估计值

如果损失函数为，则参数估计值就是后验概率的期望

或者可以直接求概率密度函数

(2) 一维正态分布时的贝叶斯估计

假设样本为，，。其中，只有是未知的估计量，其他都是已知的，则

(3) 贝叶斯学习

贝叶斯学习是通过递推获得参数的后验概率密度，递推公式如下：

二、非参数估计

1. 直方图方法

(1) 直方图方法的概率密度估计值

假设把样本的每个分量分割成等间隔的小窗，分割后每个小小区域的体积为，落入某个小区域的样本数量是，样本总数是，那么在这个小区域内，概率密度的估计值为：

(2) 直方图方法估计的一致性条件

假定样本总数为，在附近落入小舱的样本个数是，则当样本趋于无穷多时，收敛于的条件是：

2. 近邻估计方法

(1) 估计的方法

1. 指定一个数，使其满足上面的一致性条件，比如
2. 对于样本，调整包含的小舱的大小，直到恰好包含个样本
3. 概率密度的估计值为：

3. Parzen窗法

(1) 估计公式

或

(2) 窗函数（核函数）

1. 方窗

2. 高斯窗（正态窗）

一维情况下：

3. 超球窗

其中是超球体的半径，是超球体的体积

(3) 性质

1. 渐进无偏
2. 平方误差一致
3. 窗函数的选择不如宽窗参数影响大