使用 Go 语言开发的豆瓣书籍分布式爬虫。以豆瓣图书 tag 页面为入口，抓取豆瓣图书信息。
分布式的各个 worker 之间使用 JSON-RPC 进行通信，抓取后将数据存储进入 ElasticSearch。
-
Notifications
You must be signed in to change notification settings - Fork 0
Loner1024/douban-crawer
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
Douban distributed crawlers 使用 Go 语言开发的豆瓣书籍分布式爬虫
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published