项目地址: https://github.com/SpiderClub/haipproxy
陆陆续续花了近六个月的时间实现了一款高可用的分布式代理 IP 池HAipproxy，它的主要用处是为各类被限制 IP 的爬虫提供基础的代理 IP 支撑。HAipproxy 的高可用有两层含义:(1)代理 IP 资源的高可用；(2)项目各个组件的高可用。HAipproxy 的代理 IP 源均来自互联网公开的资源，项目配置了总计 30+的墙内外代理资源提供网站，所以代理 IP 资源的数量并不是 HAipproxy 主要关心的。它主要关心的是如何从海量高度不可用的代理 IP 资源中提取出高质量低延迟的代理 IP 供爬虫使用。为此，HAipproxy 制定了一些列的校验和 IP 筛选策略。在实现 HAipproxy 之前，楼主也调研过现有的代理 IP 付费方案和开源的代理 IP 方案，付费方案中有一些质量较好的但是费用比较高，其它的和开源的项目的效果都差强人意。免费＋高性能,这也是HAipproxy的核心竞争力。
Talk is cheap,我们来看点实际的东西。下面是楼主近日以知乎为测试对象，单机条件下对 HAipproxy 进行性能测试的测试结果
可以看到请求量最快可以达到 1w+/hour，楼主对一天的请求量进行了统计，有19w，效果还算令人满意。
V 友们路过的话不妨给个star吧，有使用这个项目的需求则更好了。
新年新气象，祝看了这篇广告贴和点了star的 V 友们今年升职加薪，技术精进一步。
1
Select Language