技术文章 > 头条 > 正文

最简单明了的Python爬虫入门思路

爱喝马黛茶的安东尼

如果学会了python的基本语法,我认为入门爬虫是很容易的。

1:什么是爬虫

爬虫(spider,又网络爬虫),是指向网站/网络发起请求,获取资源后分析并提取有用数据的程序。

从技术层面来说就是 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地,进而提取自己需要的数据,存放起来使用。

2: 爬虫的基本思路

通过URL或者文件获取网页,

分析要爬取的目标内容所在的位置

用元素选择器快速提取(Raw)目标内容

处理提取出来的目标内容 ( 通常整理合成一个 Json)

存储处理好的目标内容 (比如放到 MongoDB 之类的数据库,或者写进文件里。)

3dcb9297e4f63197d8ac3a1524baea9.png

robots协议:

网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,但它仅仅是道德层面上的约束。

爬虫的用途:

1、12306抢票

2、短信轰炸

3、网络投票

4、监控数据

5、下载图片、小说、视频、音乐等

Http和Https:

发送请求,获取响应的过程其实就是发送Http或者Https请求和响应的过程。

HTTP

超文本传输协议

默认端口号:80

HTTPS

HTTP + SSL(安全套接字层),即带有安全套接字层的超本文传输协议。

默认端口号:443

作用:在传输过程中对数据进行加密,防止被窜改。

区别:http因不需要加密,所以性能更高,但安全性差。https安全性高,但是占用服务器资源。

但是Https是未来的主流,比如小程序、ios、android客户端的接口都需要Https接口支持。

Http请求报文:

acb7d55bc2b30793d7b82b622c019bb.png

常见请求头:

6c16955750cfa4d0a1a017b57c08e53.png

Http状态码

3cd92939f41c2917ed7522d80313d80.png

常见的 HTTP 状态码:

200 - 请求成功

301 - 资源(网页等)被永久转移到其它 URL

404 - 请求的资源(网页等)不存在

500 - 内部服务器错误

Chrome浏览器请求分析

823582324c524b9941a9f8357a3c032.png

分析流程图:

e727dc547a8aee3f16fec1622cbcd12.png

以上都是爬虫的预备知识,掌握了之后就可以写代码去爬取我们想要爬的网站了。Python提供了许多网络请求的库,比如Requests、urllib等,这里只说一下requests库。

Requests库

安装:

pip(3) install requests

基本使用:

# 导入模块
import requests
# 定义请求地址
url = 'http://www.baidu.com'
# 发送 GET 请求获取响应
response = requests.get(url)
# 获取响应的 html 内容
html = response.text

response常用属性:

response.text 返回响应内容,响应内容为 str 类型

respones.content 返回响应内容,响应内容为 bytes 类型

response.status_code 返回响应状态码

response.request.headers 返回请求头

response.headers 返回响应头

response.cookies 返回响应的 RequestsCookieJar 对象

# 获取字节数据
content = response.content
# 转换成字符串类型
html = content.decode('utf-8')

自定义请求头

# 导入模块
import requests
# 定义请求地址
url = 'http://www.baidu.com'
# 定义自定义请求头
headers = {
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.
3578.98 Safari/537.36"
}
# 发送自定义请求头
response = requests.get(url,headers=headers)
# 获取响应的 html 内容
html = response.text

发送Get请求

# 导入模块
import requests
# 定义请求地址
url = 'http://www.baidu.com/s'
# 定义自定义请求头
headers = {
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.
3578.98 Safari/537.36"
}
# 定义 GET 请求参数
params = {
"kw":"hello"
}
# 使用 GET 请求参数发送请求
response = requests.get(url,headers=headers,params=params)
# 获取响应的 html 内容
html = response.text

发送POST请求

# 导入模块
import requests
# 定义请求地址
url = 'http://www.baidu.com'
# 定义自定义请求头
headers = {
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.
3578.98 Safari/537.36"
}
# 定义post请求参数
data = {
"kw":"hello"
}
# 使用 POST 请求参数发送请求
response = requests.post(url,headers=headers,data=data)
# 获取响应的 html 内容
html = response.text

使用代理

为什么使用代理:1、让服务器以为请求是从多个客户端发出的。2、防止暴露我们的真实地址。

6198627d76cae5d109aafafa2c2b7d7.png

使用方法

# 导入模块
import requests
# 定义请求地址
url = 'http://www.baidu.com'
# 定义自定义请求头
headers = {
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.
3578.98 Safari/537.36"
}
# 定义 代理服务器
proxies = {
"http":"http://IP地址:端口号",
"https":"https://IP地址:端口号"
}
# 使用 POST 请求参数发送请求
response = requests.get(url,headers=headers,proxies=proxies)
# 获取响应的 html 内容
html = response.text

请求中携带cookie

作用:有些网站需要登录,这时候cookie就是记录了你的用户信息。

方式:

直接在自定义请求头中携带

通过请求参数携带cookie

# 导入模块
import requests
# 定义请求地址
url = 'http://www.baidu.com'
# 定义自定义请求头
headers = {
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.
3578.98 Safari/537.36"
# 方式一:直接在请求头中携带Cookie内容
"Cookie": "Cookie值"
}
# 方式二:定义 cookies 值
cookies = {
"xx":"yy"
}
# 使用 POST 请求参数发送请求
response = requests.get(url,headers=headers,cookies=cookies)
# 获取响应的 html 内容
html = response.text

数据提取

作用:从爬虫获取的数据中提取出我们想要的数据。

方式:

json模块提取

xpath提取

正则提取

beautifulsoup

json

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式

json.loads json字符串 转 Python数据类型

json.dumps Python数据类型 转 json字符串

json.load json文件 转 Python数据类型

json.dump Python数据类型 转 json文件

ensure_ascii=False 实现让中文写入的时候保持为中文

indent=空格数 通过空格的数量进行缩紧

xpath

XPath 全称: XML Path Language,是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。

安装:

pip(3) install lxml

常用规则

861b38e94739a4778f76666dd3e3dd8.png

正则

Python中通过正则表达对字符串进行匹配是,可以使用re模块。

# 导入re模块
import re
# 使用match方法进行匹配操作
result = re.match(正则表达式,要匹配的字符串)
# 如果上一步匹配到数据的话,可以使用group方法来提取数据
result.group()

常见语法

8bfe1b4669ea0e8fb66ad3939dec0bb.png

1f87604d6fba1399b1c991f4e419530.png

8f2ce663dacacacd081e4b46fe1dc60.png

Python学习网,有大量免费的Python视频教程,欢迎大家学习!

本文转自:https://www.jianshu.com/p/96a1ad69b4c2

免费视频教程
本文转载于:简书,如有侵犯,请联系a@php.cn删除
相关文章
 《Python2爬虫入门教程指南》(系列教程)
 Python爬虫:流程框架和常用模块
 小白学Python之爬虫基础
相关视频章节
 开始使用Python撰写网络爬虫(Crawler)
 Python爬虫基础
 Python爬虫的基本原理
作者信息

爱喝马黛茶的安东尼

You know nothing!

最近文章
Python两大开发利器:PyCharm、Anaconda693
怎么让jupyter计时888
怎么配置jupyter474
视频教程分类