推荐大家使用下【】神箭手云爬虫】,完全在云上编写和执行爬虫,不需要配置任何开发环境,快速开发快速实现。 简单几行 javascript 就可以实现复杂的爬虫,同时提供很多功能函数:反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等,这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。
可以用前嗅的forespider试试,可以采下来。