品易云推流 关闭
文章详情页
文章 > Python基础教程 > python如何重写start_requests方法

python如何重写start_requests方法

Python

头像

小妮浅浅

2021-07-15 14:16:20537浏览 · 0收藏 · 0评论

说明

1、在scrapy中,start_url是由start_requests处理的,通过重写这种方法,start_url可以携带请求头信息。

2、cookie不能放在scrapy中的headers中,在构建请求时有专门的cookies参数,可以接收字典形式的cookie。

可能需要在settings中设置ROBOTS协议和USER_AGENT。

实例

import scrapy
 
 
class Git1Spider(scrapy.Spider):
    name = 'git1'
    allowed_domains = ['github.com']
    start_urls = ['https://github.com/GitLqr']
 
    def start_requests(self):
        """
        重写start_requests,发送携带cookies的Request。
        默认start_requests只是普通的get请求,不会携带自定义的头信息
        """
        url = self.start_urls[0]
 
        temp = '_octo=GH1.1.1045146750.1615451260; _device_id=cd8d64981fcb3fd4ba7f587873e97804'
        # 把cookies字符串转成字典
        cookies = {data.split('=')[0]: data.split('=')[-1] for data in temp.split('; ')}
 
        yield scrapy.Request(
            url=url,
            callback=self.parse,
            cookies=cookies
        )
 
    def parse(self, response):
        print(response.xpath('/html/head/title/text()').extract_first())

以上就是python重写start_requests方法,希望对大家有所帮助。更多Python学习指路:python基础教程

关注

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

底部广告图