qwertty01
V2EX  ›  问与答

如何管理多个服务器上的爬虫?

  •  1
     
  •   qwertty01 · Mar 8, 2018 · 2299 views
    This topic created in 3073 days ago, the information mentioned may be changed or developed.

    自己写的一个简单的爬虫程序,通过消息队列,让多个计算机上的爬虫接受消息,进行爬取,现在问题来了,如何得知每个计算机上的爬虫运行状态?需要用到什么样的技术?

    消息队列使用的是 RabbitMQ。 爬虫是用 Java 写的。

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3051 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 13:11 · PVG 21:11 · LAX 06:11 · JFK 09:11
    ♥ Do have faith in what you're doing.