yesterdaysun
V2EX  ›  Java

请问一般简单的线上服务自动重启的最佳实践是怎样的?

  •  
  •   yesterdaysun · Mar 1, 2021 · 4594 views
    This topic created in 2092 days ago, the information mentioned may be changed or developed.

    SpringBoot 部署了一个单机的小型的图片服务器, 因为有一些特殊的处理逻辑加上只有特定的访问流量, 是纯自己写加部署的, 没有用一些第三方的库.

    有时候流量一大, 或者遇到一些奇怪的 bug 应用会无响应或者进程直接退出, 这些问题暂时不管, 会慢慢修, 出问题的时候, 线上的应用一般当场重启就 OK 了, 不过挂的频率有些高了, 可能 1-2 天就会挂掉 1 次.

    现在的做法就是暴露一个 actuator endpoint 来做 health check, 然后人工时不时看一下是不是还活着, 死了就上去手动 kill/restart, 我知道这很傻, 但是找了一圈没发现有相应的办法, 所以有没有什么库 /服务 /程序 /架构可以实现自动检查健康状态, 然后根据一定规则自动重启之类的? 或者这方面的最佳实践是啥?

    21 replies  •  2021-03-17 11:25:33 +08:00
    NoahNye
    NoahNye
    Mar 1, 2021
    1
    使用 systemd,restart 设置成 on-failure
    xcc880
    xcc880
    Mar 1, 2021
    2
    如 1#所说用 systemd, 或者尝试 docker, restart 设置为 always.
    icebay
    icebay
    Mar 1, 2021
    3
    > 现在的做法就是暴露一个 actuator endpoint 来做 health check, 然后人工时不时看一下是不是还活着, 死了就上去手动 kill/restart, 我知道这很傻, 但是找了一圈没发现有相应的办法, 所以有没有什么库 /服务 /程序 /架构可以实现自动检查健康状态, 然后根据一定规则自动重启之类的? 或者这方面的最佳实践是啥?

    另一种做法,写个脚本定时运行检查,自动重启
    tianshiyeben
    tianshiyeben
    Mar 1, 2021
    4
    www.wgstart.com WGCLOUD 监控系统,安装后用进程监控或服务接口监控都可以,支持邮件告警,也可以集成微信钉钉告警
    theOneMe
    theOneMe
    Mar 1, 2021
    5
    supervisor
    yesterdaysun
    yesterdaysun
    OP
    Mar 1, 2021
    6
    @NoahNye @xcc880 @theOneMe 如果我理解的没错, 这种守护进程型的东西必须是服务进程退出才会生效, 但是现在很多时候是服务挂起, 就是进程还在但是 request 无响应, 这种情况应该没用吧

    倒是 @tianshiyeben 说的监控系统有点像, 但是这和 SpringBootAdmin 差不多, 也只是做到了告警, 但是无法自动操作重启应用啊? 有这样的东西吗?
    chendy
    chendy
    Mar 1, 2021
    7
    1. 排查 bug
    2. crontab 重启
    tianshiyeben
    tianshiyeben
    Mar 1, 2021
    8
    @yesterdaysun WGCLOUD 也是 java 写的,自动重启不好把握,你收到告警,去重启就行了
    FakNoCNName
    FakNoCNName
    Mar 1, 2021
    9
    @yesterdaysun 这种情景可以自己写个 http 探针,定时用 http 请求检查服务可用性,异常就执行上面朋友说的那些方案。
    Latin
    Latin
    Mar 1, 2021
    10
    supervisor+1
    dqzcwxb
    dqzcwxb
    Mar 1, 2021
    11
    用 arthas 排查问题,重启不是解决方案
    firefox12
    firefox12
    Mar 1, 2021
    12
    要知道 服务不可用的时候,应用未必是退出 或者挂掉的
    wucao219101
    wucao219101
    Mar 1, 2021
    13
    supervisor+1
    生产环境一直在用的方案
    yesterdaysun
    yesterdaysun
    OP
    Mar 1, 2021❤️1
    14
    又搜了一圈, 发现这个帖子里面说的 Docker Healthcheck 可能是我想要的东西
    https://stackoverflow.com/questions/57515333/how-to-do-health-check-of-a-spring-boot-applications-which-is-running-in-docker

    或者又查到 K8S 里面也有类似的机制, 也许搞个单机的也行, 不过就像上面一位大哥说的, 还是要先排查问题, 已经在研究 Arthas 了.
    xcc880
    xcc880
    Mar 1, 2021 via iPhone
    15
    @yesterdaysun docker 健康检查的确可以,但还是要花时间制本😂
    xcc880
    xcc880
    Mar 1, 2021 via iPhone
    16
    之前遇到内存泄漏导致无法请求或者请求超时的情况,使用 jmap dump 快照,结合 eclipse 的 mat 工具很快就能找到泄漏点。不知道能否对你有帮助
    simple2025
    simple2025
    Mar 1, 2021
    17
    @yesterdaysun 如果是 http 直接暴露个 http 的接口,定时任务去检查就好了
    yikuo
    yikuo
    Mar 2, 2021 via Android
    18
    systemd 有 watchdog 功能,可以结合自动重启一起使用
    someonedeng
    someonedeng
    Mar 3, 2021
    19
    docker always restart
    liian2019
    liian2019
    Mar 3, 2021
    20
    简单点直接写个脚本,定时调 health check,失败了就执行 java -jar
    telnetning
    telnetning
    Mar 17, 2021
    21
    定时任务跑健康检查脚本,检查接口是否正常。
    不过如果频繁挂,是不是先考虑定位下具体是什么原因。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1970 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 62ms · UTC 08:46 · PVG 16:46 · LAX 00:46 · JFK 03:46
    ♥ Do have faith in what you're doing.