技术文章 > Python技术 > Python基础 > 正文

如何用scrapy框架构建python爬虫?

小妮浅浅

小编一直在更新文章,主要还是把更多的python知识分享给小伙伴们,当然小编也在写python文章的同时,不断加深了对Python的理解。讲了这么多篇的scrapy框架,主要是为了之后抓取数据,搭建python爬虫做准备的。听到这里很多小伙伴是不是恍然大悟,接下来一起学习搭建方法吧。


制作爬虫,总体来说分为两步:先爬再取。

也就是说,首先你要获取整个网页的所有内容,然后再取出其中对你有用的部分。

要建立一个Spider,你必须用scrapy.spider.BaseSpider创建一个子类,并确定三个强制的属性:

  • name:爬虫的识别名称,必须是唯一的,在不同的爬虫中你必须定义不同的名字。

  • start_urls:爬取的URL列表。爬虫从这里开始抓取数据,所以,第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。

  • parse():解析的方法,调用的时候传入从每一个URL传回的Response对象作为唯一参数,负责解析并匹配抓取的数据(解析为item),跟踪更多的URL。

创建douban_spider.py文件,保存在douban\spiders目录下。并导入我们需用的模块

 

编写主要模块:

 

然后运行一下,

 

会看到有403错误,是因为我们爬取的时候没加头部导致的:

 

我们来伪装一下,在settings.py里加上USER_AGENT:

USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/536.5 
(KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5'

再次运行,即可看到正确结果。


看完本篇的文章,相信小伙伴们对用scrapy框架构建python爬虫有了一定的了解,还没搭建好的小伙伴也不用着急,多尝试找寻搭建的方法。更多Python学习推荐:PyThon学习网教学中心


免费视频教程
本文原创发布python学习网,转载请注明出处,感谢您的尊重!
相关文章
 python爬虫中选scrapy框架的优势有哪些?
 python中的scrapy框架是什么?为什么要学?
 python爬虫中scrapy组件有哪些?作用是什么?
 python3爬虫中如何搭建scrapy框架?需要注意什么?
 python爬虫scrapy框架可以在IDE中调试吗?
 如何用python爬虫scrapy框架中获取内容?
相关视频章节
 Scrapy爬虫的第一个实例
 Scrapy爬虫的基本使用
 股票数据Scrapy爬虫实例编写
 股票数据Scrapy爬虫实例介绍
 股票数据定向Scrapy爬虫实例优化
推荐视频
视频教程分类