品易云推流 关闭
文章详情页
文章 > Python基础教程 > python scrapy处理翻页的方法

python scrapy处理翻页的方法

Python Scrapy

头像

小妮浅浅

2021-07-15 11:39:19707浏览 · 0收藏 · 0评论

说明

1、根据scrapy这个框架的运行特点,翻页必须和处理数据分开,不然无法执行。

2、确定url地址,构造 url 地址的请求对象,把请求交给引擎。

构造请求

scrapy.Request(url, callback)

callback:指定解析函数名称,表示该请求返回的响应使用哪一个函数进行解析。

实例

 scrapy.Request(url, callback=None, method='GET', headers=None, body=None, cookies=None, meta=None,
                         encoding='utf-8', priority=0, dont_filter=False, errback=None, flags=None)

以上就是python scrapy处理翻页的方法,希望对大家有所帮助。更多Python学习指路:python基础教程

关注

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

底部广告图