技术文章 > Python技术 > Python基础 > 正文

scrapy框架如何运行python爬虫并下载数据?

小妮浅浅

上篇我们讲了学习scrapy框架是为了python爬虫做准备的,那么在本篇中就要开始真正的运行python爬虫了。经过了这么久爬虫理论知识的洗礼,想必小伙伴们已经迫不及待想要尝试一下怎么通过scrapy框架运行爬虫了。不着急,我们慢慢往下看。体会获取数据的成就感然后把成果保存下来。


在项目文件夹内打开cmd运行下列命令:

scrapy crawl douban_top250 -o douban.csv


注意此处的douban_movie_top250即为我们刚刚写的爬虫的name, 而-o douban.csv是scrapy提供的将item输出为csv格式的快捷方式,第一次输出后是乱码,这时候我们要在settings.py设置一些编码格式:


FEED_EXPORT_ENCODING = 'GBK'


另外,在python包下面exporters.py里面CsvItemExporter 类中io.TextIOWrapper添加参数newline='',取消csv的自动换行


 


再次运行上述命令,我们想要的信息都被下载到douban.scv文件夹里了:


 

通过上述的工作,我们完成了第一页的页面信息爬取。

看到这种聪明的小伙伴已经猜出我们还有续篇要出现了,毕竟这只是第一页数据的获取~感兴趣的小伙伴跟小编一起看看下一篇吧。更多Python学习推荐:PyThon学习网教学中心

免费视频教程
本文原创发布python学习网,转载请注明出处,感谢您的尊重!
相关文章
 python3爬虫中如何搭建scrapy框架?需要注意什么?
 python爬虫scrapy框架可以在IDE中调试吗?
 如何用python爬虫scrapy框架中获取内容?
 如何用scrapy框架构建python爬虫?
相关视频章节
 Scrapy爬虫框架介绍
 Scrapy爬虫的第一个实例
 Scrapy爬虫的基本使用
 股票数据Scrapy爬虫实例编写
 股票数据Scrapy爬虫实例介绍
 股票数据定向Scrapy爬虫实例优化
推荐视频
视频教程分类