品易云推流 关闭
文章 > 其他 > 爬虫怎么运行

爬虫怎么运行

爬虫

头像

小妮浅浅

2021-04-30 10:11:28336浏览 · 0收藏 · 0评论

(推荐操作系统:windows7系统、Python 3.9.1、DELL G3电脑。)

1、在命令行中使用“python 文件名.py”。

# 方式一
 
$ scrapy crawl spider_name

2、单独配置一个文件,spider_name是具体的爬虫名,通过pycharm运行设置,但每次都要更改爬虫名,不利于git提交。

# 方式二
 
from scrapy import cmdline
args = "scrapy crawl spider_name".split()
cmdline.execute(args)

3、在python交互式命令行下直接输入python代码回车运行

# 方式三
 
if __name__ == '__main__':
    from scrapy import cmdline
    args = "scrapy crawl spider_name".split()
    cmdline.execute(args)

以上就是爬虫运行的三种方法,其中命令行和交互式命令行的方法比较相似,大家在使用时需要注意概念的区分。爬虫可以结合代理ip的使用,如果大家想测试使用下,可以尝试品易云http代理ip,免费测试包含各种类ip资源,无限调用IP量!更多常见问题解决:ip

关注公众号

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

底部广告图 底部广告图按钮