技术文章 > Python技术 >  Python爬虫 > 正文

python爬取使用Urllib库获取请求

宋雪维

Urllib库:制定URL,获取网页数据,访问url

1、获得get请求

import urllib.request

#获取一个get请求

response = urllib.request.urlopen("http://www.baidu.com")#获取网页

print(response.read().decode('utf-8'))#decode('utf-8')解析代码,使中文也可以正常显示

注意:其中这里urlopen,这个函数就是请求一个url的内容,这也是爬虫的第一步:网页请求,获取内容

2、获取post请求

import urllib.parse#解析器
data = bytes(urllib.parse.urlencode({"hello":"world"}),encoding="utf-8") #转化成二进制,封装

response = urllib.request.urlopen("http://httpbin.org/post",data=data)
print(response.read().decode('utf-8'))

注意:这里加了data参数就是以POST形式发送请求,否则就是GET方式了。

免费视频教程
本教程部分素材来源于网络,版权问题联系站长!
相关文章
  python合并表格,join与merge函数的代码加简单描述
  Python 最简单的OCR——paddleocr简要教程
  python链表类中如何获取元素
  python使用BeautSoup库爬取豆瓣电影
相关视频章节
  写下你第一个Python程序
  Python的代码缩进规范
  用python操作文件的3种模式
  量化投资与Python&ipython初识
  ipython魔术命令
视频教程分类