honmaple
V2EX  ›  问与答

网断了爬虫还在运行

  •  
  •   honmaple · Nov 16, 2015 via Android · 2347 views
    This topic created in 3925 days ago, the information mentioned may be changed or developed.
    听说程序员晚睡,谁能跟我解释一下网都断了,为什么还在爬取数据,而不是报错,这是什么原因
    4 replies    2015-11-16 09:36:15 +08:00
    Victor215
        1
    Victor215  
       Nov 16, 2015
    贴出来 code 和 log 让我们看看……
    owlsec
        2
    owlsec  
       Nov 16, 2015
    code&&log
    owlsec
        3
    owlsec  
       Nov 16, 2015
    @owlsec 多打了个&(逃。。。
    zhexue69
        4
    zhexue69  
       Nov 16, 2015
    有可能上次采集本地有 cache ,爬虫默认策略先从本地 cache 读,就这样。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   901 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 20:37 · PVG 04:37 · LAX 13:37 · JFK 16:37
    ♥ Do have faith in what you're doing.