[ 登录 ] - [ 注册 ] | 开发者(推广)分成 无忧代理IP最新上线 | 代码示例 | IP测试视频 |

如何维护爬虫程序中的代理ip库?

作者:数据无忧   时间:2017-02-03 20:41:41

问题描述:代理ip有的变得连接很慢,甚至连不上,有什么样的机制可以让ip列表保持较好的可用性?
不如创建一个验证代理的服务吧,定期扫描库存代理,更新可用性,遇到不可用的就删除或者标记。

网友回答
如果有能力,自己建独享代理IP服务器,很稳定,不存在所谓的失效。
否则通过购买动态代理IP的,要设置验证程序,把所有代理IP放在Redis或者其他文件中,按几分钟测试一遍,失效就删除。



无忧代理IP(www.data5u.com)原创文章,转载请注明出处。

抽取IP代金券
返回顶部
在线咨询
人工客服
 QQ交流群 - 001
QQ:340529947(满)
 QQ交流群 - 002
QQ:828393818
 售前咨询 - 001
QQ:1598729786
 技术支持 - 001
QQ:2562178315
为了避免 QQ 丢消息,请尽量添加客服为 QQ 好友。
客服工作时间08:30──17:30
关注微信
在线咨询
人工客服
 QQ交流群 - 001
QQ:340529947(满)
 QQ交流群 - 002
QQ:828393818
 售前咨询 - 001
QQ:1598729786
 技术支持 - 001
QQ:2562178315
为了避免 QQ 丢消息,请尽量添加客服为 QQ 好友。
客服工作时间08:30──17:30
电话:4007-745-096
QQ:
周一至周日8:30-18:00 技术部电话热线