爬虫爬取图片为什么很慢
小妮浅浅
2021-05-12 10:28:462556浏览 · 0收藏 · 0评论
一、爬取速度慢的原因
（1）爬虫本身的健壮性不高，很多情况都不一定考虑获取
（2）爬虫爬得慢，效率低
（3）防反爬能力不强，容易被屏蔽掉。
二、加快爬取的方法
（1）使用并发和并行
并发和并行是两个相似的概念。通俗来说，并发是指在一段时间内发生若干事件的情况，并发强调的是一段时间内；并行是指在同一时刻发生若干事件的情况，并行强调的是在同一时刻。
（2）使用同步和异步
同步就是并发或并行的各个任务不是独立运行的，任务之间有一定的交替顺序。异步则是并发或并行的各个任务可以相互独立的运行，一个任务不会受到其他任务的影响。
以上就是爬虫爬取图片速度慢的分析，一共有三个问题点可以供我们参照，对照爬取慢的原因，并提出了两种解决的方法。使用爬虫时也可以结合代理ip的用法，如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，调用IP量！更多常见问题解决：ip
（推荐操作系统：windows7系统、Python 3.9.1、DELL G3电脑。）
关注公众号，随时随地在线学习
写文章
分享到微博
微信扫一扫
流芳
79969
