我主要想了解,如果做了一爬虫,跑了一会,被封了,然后必须换一个 IP 吗?
我就 2 个 vps 。要是都被封了,岂不是要去买代理服务器?
我就 2 个 vps 。要是都被封了,岂不是要去买代理服务器?
|
1
大哥,爬虫一定要用网上的免费 ip 池啊。
另外 ip 解封时间是对方网站自己设置的,一般默认不超过 24 小时。 |
|
cuteJan 9, 2017
2
有专门卖代理的
|
|
wyntergregJan 9, 2017
3
跑一小会就被封了,你没设置间隔时间啊
被识别成恶意流量了吧 |
|
qa2080639Jan 9, 2017
4
很多免费 ip 啊 拿质量好的用。做好模拟
|
|
zhaixiaohuJan 9, 2017
5
很多公司都是用公有云,然后一个月换一次 ip , ip 一次只买一个月的。
|
|
zhaixiaohuJan 9, 2017
6
你要是个人,摸清规律后,可以买按配置付费的那种,封了就重新买一个新的。
|
|
484A4BJan 9, 2017
7
|
|
GWesleyJan 9, 2017
8
首先肯定需要弄个 ip 池
抓取间隔不要过短 抓取时间加入一定随机性 |
|
scnaceJan 9, 2017 via Android
10
你需要代理池~ site 搜一下 Github IP ProxyPool
|
|
13
|
|
14
爬虫的第一步,先爬代理池.
|
|
HmyBmnyJan 9, 2017
15
应该很快就会解封的,试想一下如果一个办公室几十个人用同一个 WIFI ,因为某人恶意访问而将 IP 封掉会影响另外几十个人的。
|
|
ichubeiJan 9, 2017 via Android
16
也可能永久封掉
|
|
xiaoshangminJan 12, 2017 via iPhone
20
除了封 ip 会出现验证码之类的吗
|