技术文章 > Python技术 > Python基础 > 正文

python爬虫scrapy框架可以在IDE中调试吗?

小妮浅浅

说到在编程中的调试环节,小编想起了自己很久之前写过的一个代码,不过因为一些原因一直在压箱底。找出来后测试了一下,结果不是太好,因为出现了报错。当然如果小编早发现的话,相信现在测试的结果肯定是成功的。那么,我们最近所学的python爬虫scrapy框架在IDE中调试又是什么样的?一起看看吧。


Scrapy默认是不能在IDE中调试的,我们在根目录中新建一个py文件叫:entrypoint.py;在里面写入以下内容:

from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'douban'])

现在整个目录看起来是这样:

 

建立一个项目之后:

第一件事情是在items.py文件中定义一些字段,这些字段用来临时存储你需要保存的数据。方便后面保存数据到其他地方,比如数据库 或者 本地文本之类的。

第二件事情在spiders文件夹中编写自己的爬虫

第三件事情在pipelines.py中存储自己的数据

还有一件事情,不是非做不可的,就settings.py文件 并不是一定要编辑的,只有有需要的时候才会编辑。

相信小伙伴们也尝试了那两段代码,对于今天的疑问已经解决了。小编还是想说,如果对于学习上有疑惑地地方,一定要趁早弄清答案。

更多Python学习推荐:PyThon学习网教学中心

免费视频教程
本文原创发布python学习网,转载请注明出处,感谢您的尊重!
相关文章
 怎么用python的爬虫框架scrapy的命令行?
 python scrapy框架是异步还是多线程?
 python爬虫中选scrapy框架的优势有哪些?
 python中的scrapy框架是什么?为什么要学?
 python爬虫中scrapy组件有哪些?作用是什么?
 python3爬虫中如何搭建scrapy框架?需要注意什么?
相关视频章节
 Scrapy爬虫的第一个实例
 Scrapy爬虫的基本使用
 股票数据Scrapy爬虫实例编写
 股票数据Scrapy爬虫实例介绍
 股票数据定向Scrapy爬虫实例优化
推荐视频
视频教程分类