技术文章 > Python技术 > Python爬虫 > 正文

Headers如何在Python爬虫中设置?

好不容易看到一个感兴趣的文章,一打开网站就是404,访问网站最怕遇到的就是这种事情了。有时候网站上的识别出了问题,所以我们无法进入那个网站。那我们是否能用编程中的知识做点什么呢?经过小编的一番查询资料,还真的找到了办法。我们可以通过设置Headers来改变这种情况,接下来一起研究下吧。


首先,打开我们的浏览器,调试浏览器 F12,我用的是 Chrome,打开网络监听,示意如下,比如知乎,点登录之后,我们会发现登陆之后界面都变化了,出现一个新的界面,实质上这个页面包含了许许多多的内容,这些内容也不是一次性就加载完成的,实质上是执行了好多次请求,一般是首先请求 HTML 文件,然后加载 JS,CSS 等等,经过多次请求之后,网页的骨架和肌肉全了,整个网页的效果也就出来了。


拆分这些请求,我们只看一第一个请求,你可以看到,有个 Request URL,还有 headers,下面便是 response,图片显示得不全,小伙伴们可以亲身实验一下。那么这个头中包含了许许多多是信息,有文件编码啦,压缩方式啦,请求的 agent 啦等等。 其中,agent 就是请求的身份,如果没有写入请求身份,那么服务器不一定会响应,所以可以在 headers 中设置 agent, 例如下面的例子,这个例子只是说明了怎样设置的 headers,小伙伴们看一下设置格式就好。


import urllib  
import urllib2  
 
url = 'http://www.server.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  
values = {'username' : 'cqc',  'password' : 'XXXX' }  
headers = { 'User-Agent' : user_agent }  
data = urllib.urlencode(values)  
request = urllib2.Request(url, data, headers)  
response = urllib2.urlopen(request)  
page = response.read()


这样,我们设置了一个 headers,在构建 request 时传入,在请求时,就加入了 headers 传送,服务器若识别了是浏览器发来的请求,就会得到响应。 另外,我们还有对付” 反盗链” 的方式,对付防盗链,服务器会识别 headers 中的 referer 是不是它自己,如果不是,有的服务器不会响应,所以我们还可以在 headers 中加入 referer 例如我们可以构建下面的 headers

headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  ,
                        'Referer':'http://www.zhihu.com/articles' }

同上面的方法,在传送请求时把 headers 传入 Request 参数里,这样就能应付防盗链了。 另外 headers 的一些属性,下面的需要特别注意一下:

User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求 Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。 application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用 application/json : 在 JSON RPC 调用时使用 application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用 在使用服务器提供的 RESTful SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务

 其他的有必要的可以审查浏览器的 headers 内容,在构建时写入同样的数据即可。


以上就是Python爬虫中Headers设置的方法。希望通过headers的方法能让大家看到完整的网页界面,毕竟有些资料是我们迫切需求的,错过了这次下次就很难看到了,算是在网页操作中隐藏的一个小技巧吧。更多Python学习推荐:PyThon学习网教学中心


免费视频教程
本文原创发布python学习网,转载请注明出处,感谢您的尊重!
相关文章
 如何比较python爬虫中的协程与多线程?
 Urllib库在python爬虫中如何用?
 http请求如何在python爬虫中实现?
 Cookie在python爬虫中怎么用?Cookielib又是什么?
 Re如何支持python爬虫的正则表达式?
相关视频章节
 网络爬虫
 云端部署Web应用程序视频
 Web应用框架Flask和文件模板
 Web应用程序开发概述
 继承和多态
推荐视频
视频教程分类