怎样用python爬新浪微博大V所有数据

2025-03-30 02:08:24
推荐回答(1个)
回答1:

首先确定需要爬取的数据,达到爬取一页数据的要求;

然后通过审视元素来确定每一页是按照什么标准来分页的,达到爬取多页数据的要求;

比如第一篇显示为login1.html,第二篇显示为login2.html  第三篇显示为login3.html找到网站每一篇的规律,然后循环抓取数据。

第一页链接为:ye1.html,第二页链接为ye2.html。找到规律循环抓取。

以下是一个抓取博客内容的实例