技术文章 > Python技术 >  Python基础教程 > 正文

scrapyd在python爬虫里怎么用

十一

 

如果大家比较关注于python的爬虫数据分析挖掘,那就一定要跟着小编学习了解下scrapyd,其本身优点非常的多,比如我们可以实现远程启动、停止或者删除,也可以规避爬虫源码,因为也被很多人称之为是专门用来发布scrapy爬虫的工具,好啦,下面就一起来详细了解下使用过程吧。

安装服务器:

pip install scrapyd

安装客户端:

pip install scrapyd-client

测试服务器开启:

 

浏览访问服务:

 

修改scrapy项目目录下的scrapy.cfg文件:

[deploy:JD_Spider]    #加上target   :name
url = http://localhost:6800/   #将前面的#删除
project = JD

上面就是scrapyd在爬虫中的简单使用,感兴趣的小伙伴可以跟着小编学习掌握,希望可以帮助到大家哦~

免费视频教程
本教程部分素材来源于网络,版权问题联系站长!
相关文章
  python中os.remove()的使用注意
  python os.listdir()解决乱码
相关视频章节
  事务开发:多文档事务
  事务开发:读操作事务之二
  事务开发:读操作事务之一
  事务开发:写操作事务
  设计模式集锦
作者信息
视频教程分类