品易云推流 关闭
文章详情页
文章 > 爬虫入门 > Python爬虫后获取重定向url的方法有哪些?

Python爬虫后获取重定向url的方法有哪些?

Python爬虫

头像

宋雪维

2021-05-19 10:30:531519浏览 · 0收藏 · 0评论

我们在使用python写爬虫在爬取页面时会遇到网页被重定向的情况,当点点击一个网页跳转到另一个页面,URL的地址都会改变,会导致无法请求到数据。本文介绍Python爬虫后获取重定向url的两种方法:1、导入urllib库获得重定向url;2、设置浏览器代理,请求网页。

方法一:导入urllib库获得重定向url

# 获得重定向url
from urllib import request
# https://zhidao.baidu.com/question/681501874175782812.html
url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9 
JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596"
print(request.urlopen(url).geturl())

方法二:设置浏览器代理,请求网页。

# 请求头,这里我设置了浏览器代理
headers = headers = {'User-Agent': 'xx'}
# 这里chrome的user-agent获取方式:在浏览器地址栏输入 about://version 即可得到结果
url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3 
zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596"
# 请求网页
response = requests.get(url, headers=headers)
# print(response.status_code) # 打印响应的状态码
print(response.url) # 打印重定向后的网址

以上就是Python爬虫后获取重定向url的两种方法,希望能对你有所帮助哟~

如果大家想测试使用下,可以尝试品易云http代理ip,免费测试提供1000个国内外ip地址,希望对大家有所帮助!

(推荐操作系统:windows7系统、Python 3.9.1,DELL G3电脑。)

关注

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

底部广告图