[ 登录 ] - [ 注册 ] | 代码示例DEMO | IP测试视频

如何在Python中使用动态代理IP抓取数据

作者:数据无忧   时间:2020-09-18 13:24:53

下面为Python中调用动态代理IP抓取数据的代码,需要修改代码中的order属性为正确的API订单号

请复制代码另存为文件:
  
# -*- coding: UTF-8 -*- 

'''
无忧代理IP Created on 2016年12月23日
@author: www.data5u.com
'''

import urllib;
import random

if __name__ == '__main__':
    # 这里填写无忧代理IP提供的API订单号(请到用户中心获取)
    order = "888888888888888"; 
    # 获取IP的API接口
    apiUrl = "http://api.ip.data5u.com/dynamic/get.html?order=" + order;
    # 要抓取的目标网站地址
    targetUrl = "http://1212.ip138.com/ic.asp";
    
    try:
        # 获取IP列表
        res = urllib.urlopen(apiUrl).read().strip("\n");
        # 按照\n分割获取到的IP
        ips = res.split("\n");
        # 随机选择一个IP
        proxyip = random.choice(ips)
        # 使用代理IP请求目标网址
        html = urllib.urlopen(targetUrl, proxies={'http':'http://' + proxyip})
        # 输出内容
        print("使用代理IP " + proxyip + " 获取到如下HTML内容:\n" + unicode(html.read(), "gb2312").encode("utf8"))
    except Exception,e:  
        print(e)


无忧代理IP(www.data5u.com)原创文章,转载请注明出处。

电话:4007-745-096
QQ:
周一至周日8:30-18:00 技术部电话热线