品易云推流 关闭
文章详情页
文章 > 其他 > 如何快速建立代理Ip池

如何快速建立代理Ip池

头像

小妮浅浅

2021-07-17 14:11:26755浏览 · 0收藏 · 0评论

说明

1、首先获取代理的json信息。

2、使用requests获取整个页面的text(字符串),然后使用split('\n') 将每行分割后形成的列表,方便该列表采用json.loads()方法,将每行的字符串转换成json对象,最终取值。

实例

  #!/usr/bin/env python3
 
 
 
  # coding:utf-8
 
 
 
  #lanxing
 
 
 
  import json
 
 
 
  import telnetlib
 
 
 
  import requests
 
 
 
  import random
 
 
 
  proxy_url = 'https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list'
 
 
 
  # proxyList = []
 
 
 
  #定义函数,验证代理ip是否有效
 
 
 
  def verify(ip,port,type):
 
 
 
  proxies = {}
 
 
 
  try:
 
 
 
  telnet = telnetlib.Telnet(ip,port=port,timeout=3) #用这个ip请访问,3s自动断开,返回tiemout
 
 
 
  except:
 
 
 
  print('unconnected')
 
 
 
  else:
 
 
 
  #print('connected successfully')
 
 
 
  # proxyList.append((ip + ':' + str(port),type))
 
 
 
  proxies['type'] = type
 
 
 
  proxies['host'] = ip
 
 
 
  proxies['port'] = port
 
 
 
  proxiesJson = json.dumps(proxies)
 
 
 
  #保存到本地的proxies_ip.json文件
 
 
 
  with open('proxies_ip.json','a+') as f:
 
 
 
  f.write(proxiesJson + '\n')
 
 
 
  print("已写入:%s" % proxies)
 
 
 
  #定义函数,带着url地址去获取数据
 
 
 
  def getProxy(proxy_url):
 
 
 
  response = requests.get(proxy_url)
 
 
 
  #print(type(response))
 
 
 
  # 用split('\n') 将每一行分割之后组成的列表,消除换行影响
 
 
 
  proxies_list = response.text.split('\n')
 
 
 
  for proxy_str in proxies_list:
 
 
 
  # 用json.loads()方法,将每一行的字符串转换为json对象,最后取值
 
 
 
  proxy_json = json.loads(proxy_str)
 
 
 
  host = proxy_json['host']
 
 
 
  port = proxy_json['port']
 
 
 
  type = proxy_json['type']
 
 
 
  verify(host,port,type)
 
 
 
  #主函数,入口
 
 
 
  if __name__ == '__main__':
 
 
 
  getProxy(proxy_url)

以上就是快速建立代理Ip池的方法,推荐大家使用品易http代理ip,提供高匿稳定代理ip服务,方便快捷获取网站数据,流量免费测试正在进行!更多常见问题解决:ip

(推荐操作系统:windows7系统、Internet Explorer 11,DELL G3电脑。)

关注

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

底部广告图