如何维护爬虫程序中的代理ip库?作者:数据无忧 时间:2020-09-18 13:24:53 |
问题描述:代理ip有的变得连接很慢,甚至连不上,有什么样的机制可以让ip列表保持较好的可用性? 不如创建一个验证代理的服务吧,定期扫描库存代理,更新可用性,遇到不可用的就删除或者标记。 网友回答 如果有能力,自己建独享代理IP服务器,很稳定,不存在所谓的失效。 否则通过购买动态代理IP的,要设置验证程序,把所有代理IP放在Redis或者其他文件中,按几分钟测试一遍,失效就删除。 无忧代理IP(www.data5u.com)原创文章,转载请注明出处。 |