Skip to content

SpiderEngine

Tony Shen edited this page Mar 10, 2020 · 11 revisions

SpiderEngine 可以管理引擎中的爬虫,包括爬虫的生命周期。

可以对当前服务器的CPU和内存进行实时监控

SpiderEngine 对外提供的http接口

1. 获取某个爬虫的详情

http://localhost:{port}/netdiscovery/spider/{spiderName}/detail

类型:GET

2. 获取SpiderEngine中所有爬虫的状态

http://localhost:{port}/netdiscovery/spiders/

类型:GET

3. 修改某个爬虫的状态

http://localhost:{port}/netdiscovery/spider/{spiderName}/status

类型:POST

参数说明:

{
    "status":2   //让爬虫暂停
}
status 作用
2 让爬虫暂停
3 让爬虫从暂停中恢复
4 让爬虫停止

4. 添加url任务到爬虫引擎,用于构建某个爬虫的任务

http://localhost:{port}/netdiscovery/spider/{spiderName}/push

类型:POST

参数说明:

{
    "url":xxx   // 将url添加到爬虫引擎某一个爬虫的任务中去
}

5. 获取容器内所有爬虫的定时任务

http://localhost:{port}/netdiscovery/jobs/

类型:GET

Getting Started

Kotlin

Information

  • ChangeLog
Clone this wiki locally