Spider

Spider 可以单独使用，也可以添加到 SpiderEngine 中使用。

Spider 中内置了很多组件。例如 downloader 就已经支持了多种，支持热插拔随时替换或者编写自己的 downloader。

queue、parser、pipeline 也都类似。如果 Spider 配置了多个 pipeline，则会按照顺序执行。

在调试的时候，可以使用 ConsolePipeline 或者 DebugPipeline

DebugPipeline打印的日志效果如下: