贝叶斯算法进行负面微博识别的python实现

负面微博的识别，实际上可以理解为是文本分类的问题，正面还是负面微博？贝叶斯是文本分类的常用算法，对于中文文本来说，分词也是必不可少的步骤。python可以非常方便的实现，以下是具体过程及代码。

# -*- coding: utf-8 -*-
from __future__ import division
from __future__ import unicode_literals
import pandas as pd
import numpy as np
import jieba
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.cross_validation import cross_val_predict
from sklearn.metrics import classification_report
from sklearn.pipeline import Pipeline
from random import shuffle
from sklearn.externals import joblib

# 读取标记数据-----------
# 微博文本在weibo.xlsx文件中，一行一条微博。
# 字段content为微博内容文本，
# 字段isaction为微博标识，1为负面微博，否则为0
s1 = pd.read_excel('weibo.xlsx')
s1['isaction'] = s1['isaction'].fillna(0)

# 分类数量
# 查看微博类别分布，发现数据不平衡，负面微博占比不到1/10
print(s1.groupby('isaction').size())

# 不平衡数据过采样处理----------
# 处理不平衡数据，以提升模型质量
s1_1 = s1[s1['isaction'] == 1]
# 将正类复制扩大至4份，不宜过大，否则容易过拟合
for n in range(0, 3):
s1 = pd.concat([s1, s1_1], ignore_index=True)

# 打乱数据-------------
r = np.arange(0, s1.shape[0])
shuffle(r)
s1 = s1.iloc[r, :]

#分词，使用jieba分词----------
s1['class'] = s1['content'].apply(lambda x: " ".join(jieba.cut(x)))

#词袋-----------------------
# 首先统计词频，再进行Tf-idf转换，TfidfVectorizer()封装了这两步
vectorizer = TfidfVectorizer()
vec = vectorizer.fit(s1['class'])
t1 = vec.transform(s1['class'])

# 算法-------------------
# 朴素贝叶斯常见的有高斯贝叶斯、多项式贝叶斯、伯努利贝叶斯，这里显然多项式贝叶斯更合适
nb = MultinomialNB()

# 训练及评估------------
# 这里简化处理，仅通过5折交叉验证。
# 在数据量足够的情况下，还是建议将数据集分为训练集、验证集和测试集，仅在最后检验时使用测试集
# 调节算法的alpha值，并通过循环自动评估
for n in np.arange(0.1, 1.1, 0.1):
pre = cross_val_predict(
nb.set_params(alpha=n), t1.toarray(), s1['isaction'], cv=5, n_jobs=-1)
print(nb.alpha)
print(classification_report(s1['isaction'], pre))

# 生成最终模型管道-----------
# 经过验证，alpha=0.6时效果最好，用这个参数对全部数据进行训练，生成最终模型
nb = MultinomialNB(alpha=0.6)
nb.fit(t1.toarray(), s1['isaction'])
vec_nb = Pipeline([('vec', vec), ('nb', nb)])

# 保存模型管道，下次可以直接载入使用-------
joblib.dump(vec_nb, 'vec_nb.pkl')