SpiderEngine

SpiderEngine 可以管理引擎中的爬虫，包括爬虫的生命周期。

可以对当前服务器的CPU和内存进行实时监控

SpiderEngine 对外提供的http接口

1. 获取某个爬虫的详情

http://localhost:{port}/netdiscovery/spider/{spiderName}/detail

类型：GET

2. 获取SpiderEngine中所有爬虫的状态

http://localhost:{port}/netdiscovery/spiders/

类型：GET

3. 修改某个爬虫的状态

http://localhost:{port}/netdiscovery/spider/{spiderName}/status

类型：POST

参数说明：

{
    "status":2   //让爬虫暂停
}

status	作用
2	让爬虫暂停
3	让爬虫从暂停中恢复
4	让爬虫停止

4. 添加url任务到爬虫引擎，用于构建某个爬虫的任务

http://localhost:{port}/netdiscovery/spider/{spiderName}/push

类型：POST

参数说明：

{
    "url":xxx   // 将url添加到爬虫引擎某一个爬虫的任务中去
}

5. 获取容器内所有爬虫的定时任务

http://localhost:{port}/netdiscovery/jobs/

类型：GET