llhh
V2EX  ›  问与答

有无爬取整站 url 的工具呢?

  •  
  •   llhh · Oct 31, 2014 · 6173 views
    This topic created in 4404 days ago, the information mentioned may be changed or developed.
    大概几百万页面,只想拿到其url即可。
    想自己写python,试了试,力不从心 囧~

    所以上来问下有无一些现成的工具可以爬。

    谢谢大家!
    10 replies  •  2014-10-31 11:33:27 +08:00
    muziyue
    muziyue
    Oct 31, 2014
    1
    老虎sitemap生成器:)
    TONYHEAD
    TONYHEAD
    Oct 31, 2014
    2
    XENU
    llhh
    llhh
    OP
    Oct 31, 2014
    3
    @muziyue
    @TONYHEAD
    这两个工具,3百万页面可以吗?
    muziyue
    muziyue
    Oct 31, 2014
    4
    @llhh 没试过,我现在十万多要跑一个下午……
    iscraft
    iscraft
    Oct 31, 2014
    5
    2楼说的xenu应该是最快的吧
    llhh
    llhh
    OP
    Oct 31, 2014
    6
    @TONYHEAD
    @muziyue
    @iscraft
    我现在用screaming frog seo spider比xenu要强一些。
    可以正则爬取,选择ua,速度……十万的话3个小时,当然要看网站速度嘛。
    jqw1992
    jqw1992
    Oct 31, 2014
    7
    http://www.zhihu.com/question/20788231 这个 chrome就可以了的
    touch
    touch
    Oct 31, 2014
    8
    python scrapy不是很好爬吗
    sohu022
    sohu022
    Oct 31, 2014
    9
    用Scrapy,把规则写好,把response.url保存下来就行了。
    simapple
    simapple
    Oct 31, 2014❤️1
    10
    https://github.com/simapple/spider 去年早些时候写的,比较烂,希望能对你有帮助
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1908 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 15:05 · PVG 23:05 · LAX 07:05 · JFK 10:05
    ♥ Do have faith in what you're doing.