统计决策方法

第二章 统计决策方法

一. 三种贝叶斯决策

1.最小错误率贝叶斯决策

本质计算后验概率,因分母相同等价于联合概率密度。后验概率计算形式如下： ​ 1.判别函数： 对于类， ​ 2.判别规则： 若则 ​ 3.决策面： ​ 4.同时对于二类情况，判别有如下特殊形式 若，则

其中， 叫似然度，叫似然比

2.最小风险贝叶斯决策

​ 1.判别规则：

若，则决策 其中， 后验概率乘对应风险项，选取最小化风险的行为

​ 2.对于两类的判别

判别规则： 若，则 其中， ，即实际情况为时决策为的风险。

3.Neyman-Pearson决策

即固定一类错误率的情况下最小化另一类错误率。

判别规则如下 若，则

由固定的一类错误率计算出，假设固定第二类错误率（假阴性）为，则决策边界保证

似然比为似然比密度函数为

通过数值解法得到。本质上三种决策的不同代表似然比阈值选取的不同。

二.正态分布下的统计决策

1.多元正态分布概率密度公式

式中，是 维列向量； 是 维均值向量； 是 维协方差矩阵，是 的逆短阵，是 的行列式。

2.正态分布下的最小错误率贝叶斯决策

设所有类别的概率密度都服从正态分布，

(1) 若，是单位矩阵

和的决策面是平面，并且与和连线正交（垂直）。

  1. 所有先验概率相同

决策面不仅与和连线正交，还过和连线的中点，是垂直平分线（面）。

此情况下最小错误率贝叶斯决策等价于最小距离分类器。

  1. 先验概率不同

决策面向先验概率小的类偏移，即先验概率大的类占据更大的决策空间。

(2) 若

和的决策面是平面，但是和和连线不正交（不垂直）。

  1. 所有先验概率相同

决策面过和连线的中点。

  1. 先验概率不同

决策面向先验概率小的类偏移，即先验概率大的类占据更大的决策空间。

对于两类情况，决策面为：

(3) 一般情况

决策面是超二次曲面。

三.最小错误率贝叶斯决策下错误率的计算

1.错误率计算公式

(1) 两类情况

和代表决策判别为和的区域 $$ P_1(e) &= \alpha \quad (假阳性) \

P_2(e) &= \beta \quad (假阴性)\ $$ 另外

灵敏度特异度

(2) 多类情况

（存疑）

2. ROC曲线

横轴为，纵轴为

3. 正态分布且各类协方差矩阵相等情况下错误率的计算

其中，

正态分布下为了计算方便采用，并通过证明该分布为正态分布得到表达式从而计算。需要注意的是，由于采用负对数似然比作为分界线，需要注意积分区间的设置。

4. 高维独立随机变量时错误率的估计

维随机变量各分量相互独立时，用中心极限定理把近似为正态分布，按照上面正态分布的公式计算错误率。

近似认为。

其中，是类第个分量的对数似然比的期望，是类第个分量的对数似然比的方差。

四、一阶马尔科夫链

对数几率比：

阈值根据不同决策方法确定。