技术文章 > Python技术 > Python基础 > 正文

怎么用python的爬虫框架scrapy的命令行?

我们在进行爬虫架框的使用时候,有没有想过,这个架框是否好用?有没有更好用的?或者怎么可以创新更便捷的去完成我们的项目,毕竟所有的东西都是人为制作的,像语言也一样,因此,只有在不断的完善过程里,才能更提供便利,因此,对于架框上,也都一定的优化,而这个内容就是我们接下来要说的命令行。

关于命令详细使用

命令的使用范围

这里的命令分为全局的命令和项目的命令,全局的命令表示可以在任何地方使用,而项目的命令只能在项目目录下使用

全局的命令有:

startproject
genspider
settings
runspider
shell
fetch
view
version

项目命令有:

crawl
check
list
edit
parse
Bench

startproject

这个命令没什么过多的用法,就是在创建爬虫项目的时候用

genspider

用于生成爬虫,这里scrapy提供给我们不同的几种模板生成spider,默认用的是basic,我们可以通过命令查看所有的模板

crawl

这个是用去启动spider爬虫格式为:scrapy crawl 爬虫名字

这里需要注意这里的爬虫名字和通过scrapy genspider 生成爬虫的名字是一致的

fetch

scrapy fetch url地址

该命令会通过scrapy downloader 讲网页的源代码下载下来并显示出来

这里有一些参数:

--nolog 不打印日志

--headers 打印响应头信息

--no-redirect 不做跳转

以上就是常见的命令行的符号代码,以及他们的使用内容,如果大家又需要提高爬取效率的,一定要使用这些内容,会让大家的项目事半功倍哦~

免费视频教程
本文原创发布python学习网,转载请注明出处,感谢您的尊重!
相关文章
 如何使用python网络爬虫抓取视频?
 python数据爬虫是什么?怎么用?
 python的爬虫框架包括哪些模块?
 python的爬虫框架scrapy原理是什么?
相关视频章节
 网络爬虫
 云端部署Web应用程序视频
 Web应用框架Flask和文件模板
 Web应用程序开发概述
 继承和多态
视频教程分类