Home
NetDiscovery 是基于 Vert.x、RxJava 2 等开源库实现的爬虫框架。 (最近开始补wiki文档)
- 轻量级爬虫
- 模块化设计，便于扩展：支持多种消息队列(Disruptor、Redis、Kafka、RabitMQ、RocketMQ)、多种网络框架(Http Client、Okhttp3、Selenium等)，也支持自己实现。
- 支持分布式
- 多线程、异步化：底层使用 RxJava 2 的多线程机制
- 支持 Request 添加到正在运行爬虫的 Queue 中
- 支持 Kotlin 协程
- 支持 JS 渲染
- Request 支持自定义 header 信息
- Request 支持 debug 功能：在调试时可以使用 RxCache，从而避免多次请求同一个网页。
- 支持失败重试的机制
- 多纬度控制爬取速度（Pipeline、Request、Download、Domain）等等
- 支持代理池、User Agent 池、Cookies 池
- 支持爬虫的深度抓取：能够在 Pipeline 中发起深度抓取
- 支持 URL 去重：使用布隆过滤器
- Spider 的监控、SpiderEngine 的监控 (基于Etcd、Zookeeper)
- agent 模块能够对当前服务器的 CPU 和内存进行实时监控
- SpiderEngine 整合 Quartz
