品易云推流 关闭
文章详情页
文章 > Python基础教程 > python scrapy数据建模的作用

python scrapy数据建模的作用

Python Scrapy

头像

小妮浅浅

2021-07-14 15:47:14276浏览 · 0收藏 · 0评论

说明

1、定义item就是提前计划好哪些字段需要抓取,防止手误,因为定义好之后,系统会在运行过程中自动检查。

2、配置注释可以清楚地知道要抓取哪些字段。没有定义的字段不能抓取,目标字段少的时候可以用字典代替。

3、使用scrapy的某些特定组件需要Item支持,例如scrapy的ImagesPipeline管道类。

实例

class MyspiderItem(scrapy.Item):
    name = scrapy.Field()   # 讲师的名字
    title = scrapy.Field()  # 讲师的职称
    desc = scrapy.Field()   # 讲师的介绍

以上就是python scrapy数据建模的作用,希望对大家有所帮助。更多Python学习指路:python基础教程

关注

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

底部广告图