监督学习_朴素贝叶斯分类

[TOC]

朴素贝叶斯分类(Naive Bayesian)

贝叶斯定理是关于随机事件A和B的条件概率的一则定理。
通常，事件A在事件B(发生)的条件下的概率，与事件B在事件A(发生)的条件下的概率是不一样的，但它们两者之间是有确定的关系的，贝叶斯定理陈述了这个关系。
贝叶斯定理的一个主要应用为贝叶斯推理，它是一种建立在主观判断基础之上的推理方法，也就是说，你只需要先预估一个值，然后再去根据实际结果去不断修正，不需要任何客观因素。
这种推理方式需要大量的计算，因此一直遭到其他人的诟病，无法得到广泛的应用，直到计算机的高速发展，并且人们发现很多事情都是无法事先进行客观判断的，因此贝叶斯推理才得以东山再起。
新手入门：带你搞懂朴素贝叶斯分类算法

贝叶斯定理

全概率公式

全概率公式是将边缘概率与条件概率关联起来的基本规则，它表示了一个结果的总概率
可以通过几个不同的事件来实现全概率公式将对一复杂事件的概率求解问题转化为了在不同情况下发生的简单事件的概率的求和问题
这就是全概率公式，即事件B的概率等于事件A与事件C的概率分别乘以B对这两个事件的条件概率之和。

流程步骤

计算先验概率及条件概率

例子

Example1: 假设有两家工厂生产并对外提供电灯泡
工厂X生产的电灯泡在99%的情况下能够工作超过5000 小时，
工厂Y生产的电灯泡在95%的情况下能够工作超过5000小时。
工厂X在市场的占有率为60%，工厂Y为40%，
如何推测出购买的灯泡的工作时间超过5000小时的概率是多少呢？
运用全概率公式，可以得出：
因此，可以得知购买一个工作时间超过5000小时的电灯泡的概率为97.4%。

-1

解　根据算法，由表容易计算下列概率：

朴素贝叶斯的概率模型

由于分母对于所有类别为常数，因此只需要将分子最大化即可，又因为各特征是互相独立的，所以最终推得：

Previous监督学习 Next监督学习_决策树

Last updated 2 years ago

朴素贝叶斯分类(Naive Bayesian)

贝叶斯定理是关于随机事件A和B的条件概率的一则定理。

通常，事件A在事件B(发生)的条件下的概率，与事件B在事件A(发生)的条件下的概率是不一样的，但它们两者之间是有确定的关系的，贝叶斯定理陈述了这个关系。

贝叶斯定理的一个主要应用为贝叶斯推理，它是一种建立在主观判断基础之上的推理方法，也就是说，你只需要先预估一个值，然后再去根据实际结果去不断修正，不需要任何客观因素。

这种推理方式需要大量的计算，因此一直遭到其他人的诟病，无法得到广泛的应用，直到计算机的高速发展，并且人们发现很多事情都是无法事先进行客观判断的，因此贝叶斯推理才得以东山再起。

新手入门：带你搞懂朴素贝叶斯分类算法

贝叶斯定理

P(A|B)=\frac{P(B|A)P(A)}{P(B)}

$P(A|B)$ : 在 $B$ 条件下的事件 $A$ 的概率，在贝叶斯定理中，条件概率也被称为后验概率，即在事件 $B$ 发生之后，我们对事件 $A$ 概率的重新评估。
$P(B|A)$ : 在 $A$ 条件下的事件 $B$ 的概率，与上一条同理。
$P(A)$ 与 $P(B)$ 被称为先验概率(也被称为边缘概率)，即在事件 $B$ 发生之前，对事件 $A$ 概率的一个推断(不考虑任何事件 $B$ 方面的因素)，后面同理。
$\frac{P(B|A)}{P(B)}$ 被称为标准相似度，它是一个调整因子，主要是为了保证预测概率更接近真实概率。

根据这些术语，贝叶斯定理表述为： $后验概率=标准相似度*先验概率$ 。

全概率公式

全概率公式是将边缘概率与条件概率关联起来的基本规则，它表示了一个结果的总概率

可以通过几个不同的事件来实现全概率公式将对一复杂事件的概率求解问题转化为了在不同情况下发生的简单事件的概率的求和问题

P(B)=\sum_i=1{}^{n}{P(A_{i})P(B|A_i)}

假定一个样本空间 $S$ ，它是两个事件 $A$ 与 $C$ 之和，同时事件 $B$ 与它们两个都有交集，如下图所示：

那么事件 $B$ 的概率可以表示为 $P(B)=P(B \cap A)+P(B \cap C)$

通过条件概率，可以推断出 $P(B \cap A)=P(B|A)P(A)$ ，所以 $P(B)=P(B|A)P(A)+P(B|C)P(C)$

这就是全概率公式，即事件B的概率等于事件A与事件C的概率分别乘以B对这两个事件的条件概率之和。

流程步骤

输入：训练数据 $T=\{(x_1,y_1 ),(x_2,y_2 ),...,(x_N,y_N )\}$ ，其中 $x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(N)})^T$ ， $x_i^{(j)}$ 是第i $个$ 样本的第 $j$ 个特征， $x_i^{(j)} \in \{ a_{j1},a_{j2},...,a_{jS_j} \}$ ， $a_{jl}$ 是第 $j$ 个特征可能取的第 $l$ 个值， $j＝1,2,...,n$ ， $l＝1,2,...,S_j$ ， $y_i \in \{c_1,c_2,...c_K \}$ ；实例 $x$ ；

输出：实例 $x$ 的分类

计算先验概率及条件概率

P(Y=c_k)=\frac{\sum_{i=1}^{N}{I(y_i=c_k)}}{N},k=1,2,...,K \\ P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum_{i=1}^{N}{I(x_i^{(j)}=a_{jl},y_i=c_k)}}{\sum_{i=1}^{N}{I(y_i=c_k)}} \\ j=1,2,...n;l=1,2,...,S_j;k=1,2,...,K

对于给定的实例 $x＝(x^{(1)},x^{(2)},...,x^{(n)})^T$ ，计算

P(Y=c_k)\prod_{j=1}^{n}{P(X^{(j)}=x^{(j)}|Y=c_k}),k=1,2,...,K

确定实例 $x$ 的类

y=\arg\max_{c_k}P(Y=c_k\prod_{j=1}^{n}{P(X^{(j)}=x^{(j)}|Y=c_k)}

例子

Example1: 假设有两家工厂生产并对外提供电灯泡

工厂X生产的电灯泡在99%的情况下能够工作超过5000 小时，

工厂Y生产的电灯泡在95%的情况下能够工作超过5000小时。

工厂X在市场的占有率为60%，工厂Y为40%，

如何推测出购买的灯泡的工作时间超过5000小时的概率是多少呢？

运用全概率公式，可以得出：

Pr(A)=Pr(A|B_x).Pr(B_x)+Pr(A|B_y).Pr(B_y)=\frac{99}{100}.\frac{6}{10}+\frac{95}{100}.\frac{4}{10}=\frac{974}{1000}

$Pr(B_x)=\frac{6}{10}$ : 购买到工厂X制造的电灯泡的概率。
$Pr(B_y)=\frac{4}{10}$ : 购买到工厂y制造的电灯泡的概率。
$Pr(A|B_x)=\frac{99}{100}$ : 工厂x制造的电灯泡工作时间超过5000小时的概率。
$Pr(A|B_y)=\frac{95}{100}$ : 工厂y制造的电灯泡工作时间超过5000小时的概率。

因此，可以得知购买一个工作时间超过5000小时的电灯泡的概率为97.4%。

Example2: 试由表的训练数据学习一个朴素贝叶斯分类器并确定 $x＝(2,S)^T$ 的类标记 $y$ 。

表中 $X^{(1)}$ ， $X^{(2)}$ 为特征，取值集合分别为 $A_1＝\{1,2,3\}$ ， $A_2＝\{S,M,L\}$ ， $Y$ 为类标记， $Y \in C =\{1,-1\}$ 。

-1

解　根据算法，由表容易计算下列概率：

P(Y=1)=\frac{10}{17},P(Y=-1)=\frac{7}{17} \\ P(X^{(1)}=1|Y=1)=\frac{3}{12},P(X^{(1)}=2|Y=1)=\frac{4}{12},P(X^{(1)}=3|Y=1)=\frac{5}{12} \\ P(X^{(2)}=S|Y=1)=\frac{2}{12},P(X^{(2)}=M|Y=1)=\frac{5}{12},P(X^{(2)}=L|Y=1)=\frac{5}{12} \\ P(X^{(1)}=1|Y=-1)=\frac{4}{9},P(X^{(1)}=2|Y=-1)=\frac{3}{9},P(X^{(1)}=3|Y=-1)=\frac{2}{9} \\ P(X^{(2)}=S|Y=-1)=\frac{4}{9},P(X^{(2)}=M|Y=-1)=\frac{3}{9},P(X^{(2)}=L|Y=-1)=\frac{2}{9}

对于给定的 $x＝(2,S)^T$ 计算：

P(Y=1)P(X^{(1)}=2|Y=1)P(X^{(2)}=S|Y=1)=\frac{9}{15}.\frac{3}{9}.\frac{1}{9}=\frac{1}{45} \\ P(Y=-1)P(X^{(1)}=2|Y=-1)P(X^{(2)}=S|Y=-1)=\frac{6}{15}.\frac{2}{6}.\frac{3}{6}=\frac{1}{15}

因为 $P(Y＝-1)P(X^{(1)}＝2|Y＝-1)P(X^{(2)}＝S|Y＝-1)$ 最大，所以 $y＝-1$ 。

朴素贝叶斯的概率模型

我们设一个待分类项 $X=f_1,f_2,...,f_n$ ，其中每个 $f$ 为 $x$ 的一个特征属性，然后设一个类别集合 $C_1, C_2,...,C_m$

然后需要计算 $P(C_1|X),P(C_2|X),...,P(C_m|X)$ ，我们可以根据一个训练样本集合(已知分类的待分类项集合)，然后统计得到在各类别下各个特征属性的条件概率：

P(f_1|C_1),P(f_1|C_1),...P(f_n|C_1),...,P(f_1|C_2),P(f_2|C_2), \\ ...P(f_n|C_2,...,P(f_1|C_m),P(f_2|C_m),...,P(f_n|C_m),

如果 $P(C_k|X)=MAX(P(C_1|X),P(C_2|X),...,P(C_mlX))$ ，则 $X \in C_k$ (贝叶斯分类其实就是取概率最大的那一个)。朴素贝叶斯会假设每个特征都是独立的，根据贝叶斯定理可推得：

P（C_i|X)=\frac{P(X|C_i)P(C_i)}{P(X)}

由于分母对于所有类别为常数，因此只需要将分子最大化即可，又因为各特征是互相独立的，所以最终推得：

P(X|C_i)P(C_i)=P(f_1|C_i)P(f_2|C_i),...,P(f_n|C_i)P(C_i)=P(C_i)\prod_{j=1}^{n}{P(f_j|C_i)}