Skip to content

Rate limiting

Tony Shen edited this page Aug 3, 2019 · 15 revisions

如果爬虫爬取速度太快一定会被对方系统识别, NetDiscovery 可以通过限速来实现反反爬虫。

在 NetDiscovery 内部支持从多个纬度实现限速。具体详见:https://www.jianshu.com/p/9221ec3817fc

request

设置 Request 中的属性 sleepTime,即可实现 Request 的限速。

设置 Request 的 autoSleepTime() 方法,可以随机设置 sleepTime 属性,实现 Request 的限速。

download

设置 Request 中的属性 downloadDelay,即可实现下载的限速。

如果 downloadDelay > 0,则 DownloaderDelayTransformer 会生效,会延迟进行下载。

pipeline

设置 Pipeline 中的属性 pipelineDelay,即可实现 Pipeline 的限速。

domain

设置 Request 中的属性 domainDelay,即可实现 domain 的限速。

Getting Started

Kotlin

Information

  • ChangeLog
Clone this wiki locally