(解決済み)かい鯖グループポイントが謎の原因で止まった

本日、「かい鯖グループポイント」において、データベース(PostgreSQL)との接続が切れ、アプリが例外を吐いて停止する事象が発生しました。

調査の結果、PostgreSQLが勝手に壊れたわけではなく、背後で動いていた「OSの自動メンテナンス」が原因であることが判明しました。

1. 発生した問題

アプリ側で「データベースに接続できない」という例外が発生し、サービスが停止。
PostgreSQLのログを確認すると、以下の記録が残っていました。

LOG:  received fast shutdown request
LOG:  database system is shut down

「管理者がシャットダウンした」ことになっていますが、運営は何も操作していません。

2. 原因調査:犯人は「自動アップデート」

サーバーのログ(/var/log/unattended-upgrades/unattended-upgrades.log)を照合したところ、驚きの事実がわかりました。

  • 06:48: OS(Ubuntu)がセキュリティ維持のため、パッケージの自動更新を開始。
  • 06:49: 更新を反映させるため、PostgreSQLに一時停止信号を送信。
  • 06:49: 直後にPostgreSQLは自動再起動に成功。

真の原因:
PostgreSQL自体は3秒ほどで復帰したのですが、「かい鯖グループポイント」のアプリ側がその「一瞬の瞬き」に耐えられず、例外を投げてプロセスが落ちてしまったのが今回の障害の正体でした。

3. なぜ「今さら」気づいたのか?

実はOS自体の起動時間は「51日前」となっており、一見すると何も起きていないように見えました。しかし、OS全体が再起動しなくても、特定のサービスだけがアップデートで再起動するという落とし穴があったのです。

4. 今後の対策(再発防止)

今回の件を受けて、以下の対策を検討・実施します。

  • アプリの再接続ロジックの強化:
    DBが一瞬落ちても、アプリが死なずに「再接続」をリトライするようにプログラムを更新しました。

最後に

「かい鯖グループポイント」を支えるインフラの裏側では、OSが日々セキュリティを守るために戦ってくれています。今回はその「良かれと思って」の行動が裏目に出てしまいましたが、これも一つの経験として、より止まりにくいシステムに改善していきます!

というかなんかそんな何かあったらすぐ落ちるような仕組みでよく動いてたな

普通はpostgreが止まるぐらいのことがあったらポイントも止まってるしなあ

とはいえ全部死ぬのはちょっとあれじゃない?
せめて500返すとかさ

502は返すよ

それはそう。
ただなんかあったら管理者が行くとかめんどくさくね?
せめてDB落ちてたら202でキューに貯めといて、DBに接続できたら今までの奴全部やるとか

「いいね!」 1