本文共 6454 字，大约阅读时间需要 21 分钟。

在进行利用朴素贝叶斯模型进行文本分类之前，先介绍一下朴素贝叶斯原理！

需要搞清楚的概念：

1.贝叶斯模型是指模型参数的推断用的是贝叶斯估计方法，也就是需要指定先验分布，再求取后验分布。

2.贝叶斯分类是一类算法的总称，这类算法均以贝叶斯定理为基础，故统称贝叶斯分类。

我们称之为“朴素”，是因为整个形式化过程只做原始、简单的假设。

1.朴素贝叶斯定理：

条件贝叶斯公式：p(Ci | x,y)=p(x,y | Ci) * p(Ci) / p(x,y)

使用这些定义，可以定义贝叶斯分类准则为：

如果P(c1|x, y) > P(c2|x, y)，那么属于类别c1。

如果P(c1|x, y) < P(c2|x, y)，那么属于类别c2。 这些符号所代表的具体意义是： 给定某个由x、y表示的数据点，那么该数据点来自类别c1的概率是多少？数据点来自类别c2的概 率又是多少？

程序中在模型训练的时候，只需要先在训练样本中计算好先验概率 p(Ci) 和 条件概率 p(x,y | Ci) 即可，因为p(x,y)不随Ci变化，不影响p(Ci | x,y)的最好大小。

注：条件贝叶斯是保证条件之间独立的（文档分类中是假设一个词汇出现与其他词汇是否出现无关，然而同一主题的词汇一起出现的概率很高，存在关联），所以这个假设过于简单；尽管如此，然而事实表明，朴素贝叶斯的效果还很好。

2. 对先验概率、后验概率的理解

可以将贝叶斯公式换成这样：

其中P(A|B)是在B发生的情况下A发生的可能性。 在贝叶斯法则中，每个名词都有约定俗成的名称： P(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。 P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。 P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。 P(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）。

3.朴素贝叶斯优缺点：

优点：在数据较少的情况下仍然有效，可以处理多类别问题。

缺点：对于输入数据的准备方式较为敏感。

4.用Python进行文本分类

1 加载数据集，分两类。

# 该函数返回的第一个变量是进行词条切分后的文档集合# 函数返回的第二个变量是一个类别标签的集合import numpy as npdef loadDataSet():    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]    classVec = [0,1,0,1,0,1]    #1 is abusive, 0 not    return postingList, classVec

2 创建词汇表

# 集合结构内元素的唯一性，创建一个包含所有词汇的词表。def createVocabList(dataSet):    vocabSet = set([])  # 建立一个空列表    for document in dataSet:        vocabSet = vocabSet | set(document) # 合并两个集合    return list(vocabSet)

3 创建一个和词汇表等长的向量

def setOfWords2Vec(vocabList, inputSet):    returnVec = [0]*len(vocabList)    for word in inputSet:        if word in vocabList:            returnVec[vocabList.index(word)] = 1        else:             print("the word: %s is not in my Vocabulary!" % word)    return returnVec

我们对查定义的函数进行打印：

# 打印数据集>>> listOPosts, listClasses = loadDataSet()>>> print(listOPosts)>>> print(listClasses)[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], ['stop', 'posting', 'stupid', 'worthless', 'garbage'], ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']][0, 1, 0, 1, 0, 1]# 打印词汇表>>> myVocabList = createVocabList(listOPosts)>>> print(len(myVocabList))>>> print(myVocabList)32['food', 'not', 'please', 'garbage', 'my', 'take', 'stop', 'buying', 'mr', 'park', 'cute', 'love', 'licks', 'dog', 'is', 'has', 'posting', 'ate', 'him', 'stupid', 'I', 'help', 'dalmation', 'flea', 'steak', 'problems', 'so', 'worthless', 'to', 'quit', 'maybe', 'how']# 生成词向量>>> print(len(setOfWords2Vec(myVocabList, listOPosts[0])))>>> print(setOfWords2Vec(myVocabList, listOPosts[0]))32[0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0]

4 训练模型：在训练样本中计算先验概率 p(Ci) 和 条件概率 p(x,y | Ci)，本实例有0和1两个类别，所以返回p(x,y | 0)，p(x,y | 1)和p(Ci)。

此处有两个改进的地方：

（1）若有的类别没有出现，其概率就是0，会十分影响分类器的性能。所以采取各类别默认1次累加，总类别（两类）次数2，这样不影响相对大小。 （2）若很小是数字相乘，则结果会更小，再四舍五入存在误差，而且会造成下溢出。采取取log，乘法变为加法，并且相对大小趋势不变。

# 进行训练， 这里就是计算： 条件概率 和 先验概率def trainNB0(trainMatrix, trainCategory):    numTrainDocs = len(trainMatrix)  # 计算总的样本数量    # 计算样本向量化后的长度， 这里等于词典长度。    numWords = len(trainMatrix[0])    # 计算先验概率    pAbusive = sum(trainCategory) / float(numTrainDocs)    # 进行初始化， 用于向量化后的样本 累加， 为什么初始化1不是全0， 防止概率值为0.      p0Num = np.ones(numWords)    p1Num = np.ones(numWords)    #change to ones()     # 初始化求条件概率的分母为2， 防止出现0，无法计算的情况。    p0Denom = 2.0    p1Denom = 2.0   #change to 2.0    # 遍历所有向量化后的样本， 并且每个向量化后的长度相等， 等于词典长度。    for i in range(numTrainDocs):        # 统计标签为1的样本： 向量化后的样本的累加， 样本中1总数的求和， 最后相除取log就是条件概率。         if trainCategory[i] == 1:            p1Num += trainMatrix[i]            p1Denom += sum(trainMatrix[i])        # 统计标签为0的样本： 向量化后的样本累加， 样本中1总数的求和， 最后相除取log就是条件概率。         else:            p0Num += trainMatrix[i]            p0Denom += sum(trainMatrix[i])    # 求条件概率。    p1Vect = np.log(p1Num / p1Denom)    # 改为 log() 防止出现0    p0Vect = np.log(p0Num / p0Denom)    # 返回条件概率 和 先验概率    return p0Vect, p1Vect, pAbusive

5 分类

# 通过条件概率 和 先验概率 对新的样本进行向量化后分类。哪个类别的概率大，则属于哪个类别def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):    # 向量化后的样本 分别 与 各类别的条件概率相乘 加上先验概率取log，之后进行大小比较, 输出类别。    p1 = sum(vec2Classify * p1Vec) + np.log(pClass1)    #element-wise mult    p0 = sum(vec2Classify * p0Vec) + np.log(1.0 - pClass1)    if p1 > p0:        return 1    else:         return 0

6 测试程序

加载数据集+提炼词表；

训练模型：根据六条训练集计算先验概率和条件概率；

测试模型：对训练两条测试文本进行分类。

def testingNB():    # 生成训练样本 和 标签    listOPosts, listClasses = loadDataSet()    # 创建词典    myVocabList = createVocabList(listOPosts)    # 用于保存样本转向量之后的    trainMat=[]    # 遍历每一个样本， 转向量后， 保存到列表中。    for postinDoc in listOPosts:        trainMat.append(setOfWords2Vec(myVocabList, postinDoc))    # 计算 条件概率 和 先验概率    p0V, p1V, pAb = trainNB0(np.array(trainMat), np.array(listClasses))    # 给定测试样本 进行测试    testEntry = ['love', 'my', 'dalmation']    thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))    print(testEntry,'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb))    testEntry = ['stupid', 'garbage']    thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))    print(testEntry,'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb))

测试一下结果如何：

>>> testingNB()['love', 'my', 'dalmation'] classified as:  0['stupid', 'garbage'] classified as:  1

我们将每个词的出现与否作为一个特征，这可以被描述为词集模型（set-of-words model）。如果一个词在文档中出现不止一次，这可能意味着包含该词是否出现在文档中所不能表 达的某种信息，这种方法被称为词袋模型（bag-of-words model）。在词袋中，每个单词可以出现多次，而在词集中，每个词只能出现一次。为适应词袋模型，需要对函数setOfWords2Vec() 稍加修改，修改后的函数称为bagOfWords2Vec()。

# 通过所有样本， 创建词典列表； 用于后面的词转向量。  def bagOfWords2VecMN(vocabList, inputSet):    returnVec = [0]*len(vocabList)    for word in inputSet:        if word in vocabList:            returnVec[vocabList.index(word)] += 1    return returnVec

5 总结

朴素贝叶斯分类器通常有两种实现方式：

一种基于贝努利模型实现；

一种基于多项式模型实现。 这里采用前一种 实现方式。该实现方式中并不考虑词在文档中出现的次数，只考虑出不出现。

上面我处理的样本的属性值都是分类型的，然而数值型的朴素贝叶斯能处理吗？

1 朴素贝叶斯处理数值型数据的方法： 　　（1） 区间离散化，设阈值，分段。 　　（2） 高斯化：求出概率密度函数，假设变量服从正态分布，根据已有变量统计均值和方差， 　　得出概率密度函数，这样就解决了计算连续值作为分类的条件概率值。

2 除0问题：Laplace校准所有计算均加一，总类别数目加n；

3 下溢出：很小的值相乘，四舍五入误差采用log 乘法变相加；

4 移除停用词：也可以提高文本分类的性能

参考：

1、机器学习实战 2、朴素贝叶斯 3、

转载地址：http://epwpi.baihongyu.com/