技术文章 > Python爬虫 >  爬虫入门 > 正文

python爬虫使用scrapy框架处理多页数据的方法

宋雪维

python爬虫爬取网络页面时,常常遇到需要的网络页面不仅仅一页,需要爬取多个页面,这时我们可以使用python 爬虫的scrapy框架,scrapy框架提供了处理多页数据的两种方法:1、将每一页对应的url存放到爬虫文件的start_urls;2、使用Request方法手动发起请求(推荐使用)。

方法一:将每一页对应的url存放到爬虫文件的start_urls

问题:如果页数较多时,列表就会变得很大。

方法二:使用Request方法手动发起请求(推荐使用)

案例:爬取古诗文网每一页的古诗的标题

1、爬取所有页码数据

import scrapy

class GushiSpider(scrapy.Spider):
    name = 'gushi'
    start_urls = ['https://www.gushiwen.org/']

    pageNum = 2 #pageNum为2,第一页已经爬取过了 
    url = 'https://www.gushiwen.cn/default_%d.aspx' #每页的url是类似的
    
    def parse(self, response):
        div_list = response.xpath('//div[@class="sons"]/div[1]/p[1]')
        print(str(len(div_list))+"首古诗")
        for div in div_list:
            title = div.xpath('./a/b/text()').extract()
            print(title)
        print("------------------------")

        # 爬取所有页码数据    
        if self.pageNum <= 10: #一共爬取10页(共10页)
            self.pageNum += 1
            url = format(self.url % self.pageNum)   # 每一页的url和pageNum有关

2、使用Request方法向页面手动发起请求

         # 手动发起请求: scrapy.Request(url,callback,meta)
            ## url是需要发起请求的url,
            ## callback参数的值是回调函数,即发起请求后需要调用哪一个方法
            ## meta参数的值是一个 字典,表示的是向回调函数传递什么样的参数

3、向上面格式化的url发起请求,callback递归调用parse()方法,将得到的数据继续进行解析

 yield scrapy.Request(url=url,callback=self.parse)

以上就是python爬虫scrapy框架提供了处理多页数据的两种方法,推荐使用Request方法手动发起请求哟~更多python爬虫学习推荐:python爬取入门教程

免费视频教程
本教程部分素材来源于网络,版权问题联系站长!
相关文章
  python中计算矩阵特征向量的方法
  python中最小二乘法如何理解?
  python中如何使用scipy.fftpack模块计算快速傅里叶变换?
  python中numpy.fft如何使用?
  python中如何使用scipy.stats产生随机数?
  python的scipy.stats模块中正态分布常用函数有哪些?
相关视频章节
  python命名规范
  《Python程序设计》课程导论
  Python随机模块
  Python应用领域
  写下你第一个Python程序
  Python的代码缩进规范
视频教程分类