技术文章 > Python技术 > Python基础 > 正文

python的爬虫框架scrap是什么?怎么用?

小编发觉不管python上是需要什么样子的应用,总归都是需要一个平台框架做搭建的,因此,关于这个框架什么的,内容有很多,一次性告诉大家很多内容,相信大家也不容易消化理解,因此,小编罗列了最常见的框架,以及大家本身经常能遇到的框架作补充,相信可以完善大家的python学习,一起来看下吧~

关于Scrapy 简介

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

安装

linux 和 Mac 系统下,可使用 pip安装。

pip install scrapy

Windows上的安装方式

conda install -c conda-forge scrapy

Scrapy 基本使用

第一步,创建项目

scrapy 提供了一些命令行工具,可直接生成项目代码。我们可直接使用如下命令来生成项目代码

scrapy startproject v6_scrapy

第二步,编写Spider

sipders目录中,添加我们的爬虫文件toutiao_spider.py,内容如下:

# -*- coding:utf-8 -*-
import scrapy
 
 
class ToutiaoSpider(scrapy.Spider):
    name = 'toutiao'
    start_urls = [
        'https://toutiao.io/c/ai?page=1',
    ]
 
    def parse(self, response):
        """
        实现html解析
        :param response:
        :return:
        """
        papers = response.xpath('//a[@rel="external"]')
        for paper in papers:
            title = paper.xpath('./@title').extract()[0]
            href = 'https://toutiao.io%s' % paper.xpath('./@href').extract()[0]
        
        print(title, href)

在完成之后,执行如下代码启动爬虫:

scrapy crawl toutiao

第三步,定义item

scrapy 使用Item类来结构化数据,以方便对数据的操作。

class ToutiaoItem(scrapy.Item):
    title = scrapy.Field()
href = scrapy.Field()

第四步,构建 Item pipeline 持久化到文件

我们看下如何将爬取到的数据保存到文件,代码如下:

class V6ScrapyFilePipeline(object):
 
    def __init__(self):
        self.file = open('toutiao.json', 'wb')
 
    def process_item(self, item, spider):
        if item['title']:
            line = json.dumps(dict(item))+"\n"
            self.file.write(line.encode())
            return item
        else:
            raise DropItem('在[%s]item中,没有title关键字'%item)

以上就是关于我们去安装使用这个框架的全部内容了,另外也大致的给大家讲解使用这个架框去爬取的一些内容,相信大家如果有需要的时候,看下这篇文章内容即可哦~

免费视频教程
本文原创发布python学习网,转载请注明出处,感谢您的尊重!
相关文章
 python爬虫中的urllib库代理如何设置?
 python爬虫如何取消或终止线程?
 python爬虫可以开多少线程?
 python爬虫urllib中的post如何实现?
相关视频章节
 网络爬虫
 云端部署Web应用程序视频
 Web应用框架Flask和文件模板
 Web应用程序开发概述
 继承和多态
视频教程分类