今天爬知乎被封了，请问如何绕过反爬虫
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3718 days ago, the information mentioned may be changed or developed.
 |
UnisandKAug 29, 2016
1
换 IP
|
 |
VicYuAug 29, 2016
3
proxy list
|
 |
dsg001Aug 29, 2016
5
单机几百线程爬知乎，爬 20+小时没问题，过了几天才被封
|
 |
582033Aug 29, 2016
7
|
 |
masterzh01Aug 29, 2016
9
|
 |
hippoboyAug 29, 2016
10
好几台服务器装 Squid,自己做代理....
|
 |
11
@masterzh01 3Q
|
 |
13
换 UA ，换 IP ，多线程，设置等待时间。
我曾经有段时间买了个国外服务器安装 SS,然后连接上后走 Socks5 代理。被封的次数就很少。 |
1 |
14
@Allianzcortex 设置等待时间好像没啥用，而且速度反而降低了
|
|
AllianzcortexAug 29, 2016
15
@creaer 服务器要区分人和机器行为的重要依据就是访问频率啊，增加等待时间会更容易混淆服务器。设置等待时间也比较友好:-D
|
 |
7sDreamAug 29, 2016
16
可以尝试用知乎的 RESTful OAuth API ，比起访问网页版好像比较不容易被封。
具体资料我就不贴了。 |
|
19
@Allianzcortex 难道是因为我设置的等待时间太短了
|
|
AllianzcortexAug 30, 2016
20
@creaer https://segmentfault.com/a/1190000005840672 你可以看看这篇文章，看看携程反爬虫的思路。反爬虫最重要的是不能影响业务，不能使正常用户的访问受影响～
|
 |
ijustdoAug 31, 2016
21
user agent 不停的换 最好比喻 ios android 。。。。。。
还有个大招 挂代理 控制爬去速度。。。。 |
Select Language