大概几百万页面,只想拿到其url即可。
想自己写python,试了试,力不从心 囧~
所以上来问下有无一些现成的工具可以爬。
谢谢大家!
想自己写python,试了试,力不从心 囧~
所以上来问下有无一些现成的工具可以爬。
谢谢大家!
|
muziyueOct 31, 2014
1
老虎sitemap生成器:)
|
|
TONYHEADOct 31, 2014
2
XENU
|
|
iscraftOct 31, 2014
5
2楼说的xenu应该是最快的吧
|
|
6
|
|
jqw1992Oct 31, 2014
7
http://www.zhihu.com/question/20788231 这个 chrome就可以了的
|
|
touchOct 31, 2014
8
python scrapy不是很好爬吗
|
|
sohu022Oct 31, 2014
9
用Scrapy,把规则写好,把response.url保存下来就行了。
|
|
10
https://github.com/simapple/spider 去年早些时候写的,比较烂,希望能对你有帮助
|