做爬虫时碰到了问题,求老司机
做爬虫时碰到了问题,求老司机
1
alexapollo OP 这个站点的 JS 还会 writeln 来引入其他的 JS ,有点厉害
|
2
C0VN Jan 11, 2016
? |
3
halfcrazy Jan 11, 2016
单纯 http client 请求到的 content 内容是原始的页面,(浏览器、 phantomjs )渲染解析之后多出来的东西就是 js 弄出来的。我是这么理解的,可以试着做一些下 diff 。
|
4
alexapollo OP @halfcrazy 是的,但渲染一花资源(时间、 CPU ),二是没有很易用的库( python 下)
|
5
alexapollo OP @xavierskip 可以解决最后获得了哪些 JS 的问题,但分析页面还是得花不少时间
|
6
bdbai Jan 11, 2016 via iPhone
直接研究请求好了,会比分析页面更快一些。
|
7
FrankFang128 Jan 11, 2016 via Android
关系页面干啥
|
8
FrankFang128 Jan 11, 2016 via Android
关心页面干啥
|
9
zhenzhen37 Jan 11, 2016
f12
|