一、项目目标
收集乌云公开漏洞,提供离线搜索功能,为大家提供学习资源(仅作为学习)。
二、使用环境
1.本项目在Ubuntu上开发,依赖于python2.7。
sudo apt-get install python
2.使用scrapy爬虫框架
sudo apt-get install python-scrapy or sudo pip install scrapy
3.使用数据库为mongodb,包依赖pymongo
sudo apt-get install python-pymongo or sudo pip install pymongo
4.服务器端采用Flask,安装相关的包:
sudo apt-get install virtualenv
sudo apt-get install python-flask or sudo pip install flask
5.前端采用bootstrap v3版,下载地址:
http://v3.bootcss.com/getting-started/#download
三、使用方法
1.设置爬虫选项settengs.py,如果需要全部爬,将IS_FIRST_CRAWL 设置为True,否则设置为False,即只爬更新部分。
2.设置否是将图片保存到本地选项 SAVE_IMAGES
3.设置数据库数据库用户名、密码、数据库名和记录集等。
4.cd到爬虫项目目录,开始爬取
scrapy crawl wooyunspider
5.配置app/config数据库信息,比如数据库服务器地址,端口,数据库名和数据库路径等。
6.开启服务(默认端口为5000)
./run.py
7.用户http://server:5000进行访问。
四、目录结构
wooyunspider
|__run.py
|__config.py
|__README.md
|__wooyun
| |__logs
| |__wooyun
| |__wooyunspider
| |__scrapy.cfg
|__app
| |__lib
| |__static(必须目录)
| |__templates(必须目录)
| |__views.py
|__flask
| |__bin
| |__include
| |__lib
|____|__local
五、声明
本项目所收集的漏洞来自乌云,版权及解释权归乌云所有。
项目开发工具均为开源,因此本项目也作为开源供大家使用,但目的只是为大家提供学习资料。
禁止用于非法目的,否则一切后果自负。