qwertty01
V2EX  ›  问与答

如何管理多个服务器上的爬虫?

  •  1
     
  •   qwertty01 · Mar 8, 2018 · 2411 views
    This topic created in 3173 days ago, the information mentioned may be changed or developed.

    自己写的一个简单的爬虫程序,通过消息队列,让多个计算机上的爬虫接受消息,进行爬取,现在问题来了,如何得知每个计算机上的爬虫运行状态?需要用到什么样的技术?

    消息队列使用的是 RabbitMQ。 爬虫是用 Java 写的。

    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1074 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 23:24 · PVG 07:24 · LAX 15:24 · JFK 18:24
    ♥ Do have faith in what you're doing.