-
Notifications
You must be signed in to change notification settings - Fork 151
Spider
Tony Shen edited this page Apr 4, 2020
·
2 revisions
Spider 可以单独使用,也可以添加到 SpiderEngine 中使用。
Spider 中内置了很多组件。例如 downloader 就已经支持了多种,支持热插拔随时替换或者编写自己的 downloader。
queue、parser、pipeline 也都类似。如果 Spider 配置了多个 pipeline,则会按照顺序执行。
在调试的时候,可以使用 ConsolePipeline 或者 DebugPipeline
DebugPipeline打印的日志效果如下:
- Configuration
- Downloader
- vertx webclient
- urlconnection
- http client
- okhttp3
- file
- selenium
- Chrome
- Firefox
- IE
- Phantomjs
- htmlunit
- Queue
- ConcurrentLinkedQueue
- Disruptor
- Redis
- Kafka
- RabbitMQ
- RocketMQ
- Parser
- Pipeline
- Rate limiting
- RPC
- Jobs
- Vert.x EventBus
- User Agent Pools
- IP Pools
- Cookies Pools
- Monitor
- Spider
- SpiderEngine
- DSL
- Coroutines
- ChangeLog