技术文章 > Python爬虫 >  爬虫入门 > 正文

python爬虫中需要用到的库有哪些?

宋雪维

在进行网络爬虫中,大多数会选择python爬虫,这是因为python爬虫做为通用搜索引擎网页收集器,可以对网上数据爬取并分析,实现爬虫需要对网页下载,再提取所需数据、分析。那你知道python在爬虫中要用到的库有哪些吗?本文整理了python爬虫中需要用到的库,大致可分为:1、实现 HTTP 请求操作的请求库;2、从网页中提取信息的解析库;3、Python与数据库交互的存储库;4、爬虫框架;5、Web框架库。

一、请求库

实现 HTTP 请求操作

1、urllib:一系列用于操作URL的功能。

2、requests:基于 urllib 编写的,阻塞式 HTTP 请求库,发出一个请求,一直等待服务器响应后,程序才能进行下一步处理。

3、selenium:自动化测试工具。一个调用浏览器的 driver,通过这个库你可以直接调用浏览器完成某些操作,比如输入验证码。

4、aiohttp:基于 asyncio 实现的 HTTP 框架。异步操作借助于 async/await 关键字,使用异步库进行数据抓取,可以大大提高效率。

二、解析库

从网页中提取信息

1、beautifulsoup:html 和 XML 的解析,从网页中提取信息,同时拥有强大的API和多样解析方式。

2、pyquery:jQuery 的 Python 实现,能够以 jQuery 的语法来操作解析 HTML 文档,易用性和解析速度都很好。

3、lxml:支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。

4、tesserocr:一个 OCR 库,在遇到验证码(图形验证码为主)的时候,可直接用 OCR 进行识别。

三、存储库

Python与数据库交互

1、pymysql:一个纯 Python 实现的 MySQL 客户端操作库。

2、pymongo:一个用于直接连接 mongodb 数据库进行查询操作的库。

3、redisdump:一个用于 redis 数据导入/导出的工具。基于 ruby 实现的,因此使用它,需要先安装 Ruby。

四、爬虫框架

1、Scrapy:很强大的爬虫框架,可以满足简单的页面爬取(比如可以明确获知url pattern的情况)。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面,如 weibo 的页面信息,这个框架就满足不了需求了。

2、Crawley:高速爬取对应网站的内容,支持关系和非关系数据库,数据可以导出为 JSON、XML 等。

3、Portia:可视化爬取网页内容。

4、newspaper:提取新闻、文章以及内容分析。

5、python-goose:java 写的文章提取工具。

6、cola:一个分布式爬虫框架。项目整体设计有点糟,模块间耦合度较高。

五、Web框架库

1、flask:轻量级的 web 服务程序,简单,易用,灵活,主要来做一些 API 服务。做代理时可能会用到。

2、django:一个 web 服务器框架,提供了一个完整的后台管理,引擎、接口等,使用它可做一个完整网站。

以上就是python爬虫中需要用到的库,希望能对你有所帮助哦~更多python爬虫学习推荐:python爬虫教程

免费视频教程
本教程部分素材来源于网络,版权问题联系站长!
相关文章
  python中os.remove()的使用注意
  python os.listdir()解决乱码
  python中raise是什么
  python中IDLE是什么意思
  python中PySnooper怎么用
  python如何爬取天猫店铺商品链接?
相关视频章节
  python注释
  python代码缩进
  python编码规范
  《Python程序设计》课程导论
  Python语言简介
视频教程分类