技术文章 > Python技术 > Python爬虫 > 正文

地址代理如何在python爬虫中设置?

打个比方,一个工作室需要不同的账号,但是一个账号只有一个地址,总不能整个工作室就只有一个账号使用吧?所以,为了能做更多的事情,我们需要改变一下策略,让多个账号都能使用和运行起来。所以,在python中有没有能设置代理的呢?经过一番查找,小编找到了方法,分享给大家,希望能有所帮助。


urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。假如一个网站它会检测某一段时间某个 IP 的访问次数,如果访问次数过多,它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作,每隔一段时间换一个代理,网站君都不知道是谁在捣鬼了,这酸爽! 下面一段代码说明了代理的设置用法。

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)


拓展:Timeout 设置

上一节已经说过urlopen 方法了,第三个参数就是 timeout 的设置,可以设置等待多久超时,为了解决一些网站实在响应过慢而造成的影响。 例如下面的代码,如果第二个参数 data 为空那么要特别指定是 timeout 是多少,写明形参,如果 data 已经传入,则不必声明。

import urllib2
response = urllib2.urlopen('http://www.baidu.com', timeout=10)
import urllib2
response = urllib2.urlopen('http://www.baidu.com',data, 10)


以上就是Python爬虫中设置代理的方法。结尾的时候我们补充了timeout的用法,本意是希望可以让大家需要网络过慢问题能有好的解决出路。不过,地址代理方面用的较为多,所以要着重学习。

免费视频教程
本文原创发布python学习网,转载请注明出处,感谢您的尊重!
相关文章
 使用Python爬虫代理增加网站流量
 Linux服务器端Python爬虫代理脚本设置
 Python爬虫代理工具Fiddler相关介绍
 python爬虫代理池怎么建
 Python爬虫代理tor
相关视频章节
 网络爬虫
 云端部署Web应用程序视频
 Web应用框架Flask和文件模板
 Web应用程序开发概述
 继承和多态
推荐视频
视频教程分类