python scrapy处理翻页的方法
小妮浅浅
2021-08-14 10:04:023139浏览 · 0收藏 · 0评论
说明
1、根据scrapy这个框架的运行特点，翻页必须和处理数据分开，不然无法执行。
2、确定url地址，构造url地址的请求对象，把请求交给引擎。
构造请求
scrapy.Request(url, callback)
callback：指定解析函数名称，表示该请求返回的响应使用哪一个函数进行解析。
实例
scrapy.Request(url, callback=None, method='GET', headers=None, body=None, cookies=None, meta=None, encoding='utf-8', priority=0, dont_filter=False, errback=None, flags=None)
以上就是python scrapy处理翻页的方法，希望对大家有所帮助。更多Python学习指路：python基础教程
本文教程操作环境：windows7系统、Python 3.9.1，DELL G3电脑。
关注公众号，随时随地在线学习
相关文章
写文章
分享到微博
微信扫一扫
流芳
79970
