爬虫库有哪些
小妮浅浅
2021-05-12 10:26:472586浏览 · 0收藏 · 0评论
1、urllib是python提供操作URL的模块，在访问web页面时，经常需要使用该库。
导入urllib.request的方法
import urllib.request
2、Beautiful Soup是python中的HTML、XMl的分析库，易于理解网页中的数据，具有强大的API和多种分析方式。
安装库
pip install beautifulsoup4
3、Requests这个库比urllib厉害。Requests是根据urllib制作的。我们可以用更少的代码模拟浏览器。
使用 pip 安装
pip install requests
4、Selenium是一种自动测试工具，利用它可以驱动浏览器进行特定的动作，如点击、下拉等操作对于使用JS进行友谊感染的页面，这种捕获方法非常有效。
安装方法
pip install selenium
以上就是爬虫库的介绍，本篇总结了平时学习中常见的爬虫库，在了解了这些库的特性后，可以就自己喜欢的库进行尝试。使用爬虫时也可以结合代理ip的用法，如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，调用IP量！更多常见问题解决：ip
（推荐操作系统：windows7系统、Python 3.9.1、DELL G3电脑。）
关注公众号，随时随地在线学习
相关文章
写文章
分享到微博
微信扫一扫
流芳
79972
