技术文章 > Python技术 > Python基础 > 正文

scrapy框架如何python爬虫中找寻下一页?

小妮浅浅

我们在上篇讲到在获取数据的时候,只收集了第一页就结束了。电脑需要某种指令让它像人一样的灵活,找到一个跳转页面的方法。那么,我们该怎么给电脑下这个指令呢?小编经过翻阅找到了两种方法,这里先不揭晓,想要知道答案的小伙伴,我们一起往下进行学习文章吧。


实现自动翻页一般有两种方法:

在当前页面中找到下一页的地址;

自己根据URL的变化规律构造所有页面地址。

一般情况下我们使用第一种方法,第二种方法适用于页面的下一页地址为JS加载的情况。

 


观察页面的网页源码后可以得到,直接拼接URL即可得到下一页的链接。


 


再次运行结果,打开douban.csv。是不是发现所有的影片信息都获取到了,250个一个不多一个不少


 


最后,利用Excel的筛选功能你可以筛选任意符合你要求的影片。(PS:Excel可以直接打开csv进行操作)

到这里,用scrapy框架运行python爬虫获取数据才算讲完,虽然只有短短的三篇文章。以后有更多的系列文章内容,小编也会持续为大家更新。更多Python学习推荐:PyThon学习网教学中心

免费视频教程
本文原创发布python学习网,转载请注明出处,感谢您的尊重!
相关文章
 python中的scrapy框架是什么?为什么要学?
 python爬虫中scrapy组件有哪些?作用是什么?
 python3爬虫中如何搭建scrapy框架?需要注意什么?
 python爬虫scrapy框架可以在IDE中调试吗?
 如何用python爬虫scrapy框架中获取内容?
 如何用scrapy框架构建python爬虫?
 scrapy框架如何运行python爬虫并下载数据?
相关视频章节
 Scrapy爬虫的第一个实例
 Scrapy爬虫的基本使用
 股票数据Scrapy爬虫实例编写
 股票数据Scrapy爬虫实例介绍
 股票数据定向Scrapy爬虫实例优化
推荐视频
视频教程分类