Rate limiting

如果爬虫爬取速度太快一定会被对方系统识别, NetDiscovery 可以通过限速来实现反反爬虫。

在 NetDiscovery 内部支持从多个纬度实现限速。具体详见：https://www.jianshu.com/p/9221ec3817fc

request

设置 Request 中的属性 sleepTime，即可实现 Request 的限速。

设置 Request 的 autoSleepTime() 方法，可以随机设置 sleepTime 属性，实现 Request 的限速。

download

设置 Request 中的属性 downloadDelay，即可实现下载的限速。

如果 downloadDelay > 0,则 DownloaderDelayTransformer 会生效，会延迟进行下载。

pipeline

设置 Pipeline 中的属性 pipelineDelay，即可实现 Pipeline 的限速。

domain

设置 Request 中的属性 domainDelay，即可实现 domain 的限速。