crawler

我最近编写了两只京东商品和评论的分布式爬虫来进行数据分析，现在就来分享一下。 1 爬取策略 众所周知，爬虫比较难爬取的就是动态生成的网页，因为需要...

笔者最近思考如何编写高效的爬虫; 而在编写高效爬虫的时候，有一个必需解决的问题就是： url 的去重，即如何判别 url 是否已经被爬取，如果被爬取，那就不要...