现在只能解析静态的网页内容,想请教各位 scrapy 对于动态的内容有什么好的方案?
1
bdbai Oct 24, 2015 via iPhone
简单的 AJAX 分析一下请求即可,涉及到算法的可以尝试将 JavaScript 代码用 Python 表达。实在懒的话直接操控浏览器,不过效率很低。
|
2
est Oct 24, 2015
pyexecjs phantomjs
|
3
Victor215 Oct 24, 2015
千年老问题,快成月经贴了……楼上的方法是通用的。
|
4
ljbha007 Oct 24, 2015
有个办法是遇到 script 标签和 js 文件 就用正则匹配 url 这样不用去管程序逻辑到底是怎样的
|
9
leavic Oct 24, 2015
ajax 基本都可以查到实际查询的位置,查处后用 request 单独请求一次这个数据就行。
|
10
PythonAnswer Oct 25, 2015
不要效率的话,模拟浏览器也没啥。对服务器也温柔。
|
11
gaotongfei Oct 25, 2015 via iPad
selenium
|
12
berry10086 Oct 25, 2015
selenium + phantomjs
|