微博爬虫与评论情感分析

1.使用说明

1.1根据关键词搜索爬取大量微博数据

在search_spider文件夹下，运行search_start.py文件，需要提前获取登录微博搜索的cookie，以及手动输入关键词。

1.2根据某一话题下的微博数据爬取微博评论

在comment_spider文件夹下，运行comment_start.py文件，需要提前获取登录微博的cookie，以及手动输入关键词。

1.3对微博评论进行情感分析

在emotion_analysis文件夹下，运行bert_bilstm.py文件，修改关键词predict_main('全球性别不平等报告')可以直接进行预测，训练模型则需要将注释取消：

file = './data/usual_train.txt'
train_main(model_config, file)

2.方法简介

根据微博热搜词条爬取相关微博下的评论文本数据，将评论送入基于BERT训练的情感倾向分类模型。

BERT模型是一个多层双向的Transformer编码器，实现方式主要分为预训练和微调两个步骤。BERT模型参数先用预训练参数进行初始化，再利用“文本-情感标注”数据进行模型微调。 本项目实现情感的细粒度分类。

3.数据集以及参考代码

数据集来源：SMP2020

本次实验的训练数据存放在emotion_analysis/data/usual_train.txt中。

代码参考：Weibo_Spider