またブログがダウンしていました。原因は、アタックでもなんでも無く、
以前から時々発生しているSSL証明書バッチサーバから取得出来ず、落ちているといった状況です。

対策

これは、対策して、スクリプトを少し改編しつつあって、改善出来る様にバージョンアップをしています。
ブログサーバは、最新の資材であるMasterからデプロイされていますが、今コミットしているのはDevrelopブランチなので
そっちの資材をMasterにマージして、先ほどデプロイしました。
これで、少しましになるか？ちょっと様子見ですね。

GitLabがメモリーが足りず、スワップさせながら使っているのが原因なのは分かってるのですが
インスタンスタイプをあげると、コスト高になってしまうので、スワップサイズを大幅に拡大し
スワップ前提で動かしているので、バッチサーバから応答がかなり遅い時があって
その時、取得側で待ちきれず、処理落ちになって、そのままNginxを再起動すると
本日の状況に陥る訳です。

本日最新の資材に入れ替えたので、これで証明書が取得出来ない場合は、翌日に処理持ち越しになり
翌日RETRYします。ただ、SSL証明書の期限が1日しかないと、証明書エラーがでてしまうので
その場合は、その場でRETRYするように現在プログラム修正を行っています。
現段階としては、取得はスキップして翌日RETRY方式としています。

どうなるか！？

毎朝5時に処理が走っているので、明日朝また確認しようと思います。
ブログが見れない時は、少し待って頂けると手動回復しておきます。
引き続き、よろしくお願いします。

2024/08/14追記

本日のバッチ処理は無事成功しており、問題無く稼働継続出来てます。
これでしばらく様子をみてみようと思います。

The post むむむ！Blog Down💦 first appeared on ～下町物語～.

2024/07/29 早朝から数時間ブログがダウンしていました。

原因

アタックで落ちる場合もあるんですが、今回に限っては
毎日特定時間にSSL証明書を自動更新バッチが動いているのですが
そのバッチサーバがなんと！！なんと
OSアップデートがでかいのが来てtemporaryを使いつぶして
なんと、Nginxが動作不能に陥り、証明書をゲットできなくなったのが原因です。

バッチサーバから証明書を上手く取得出来ない場合
取得側のシェルで、ある程度は旧証明書を使い翌日にRETRYするを
組み込んでいたのですが、今回は、中途半端に4つくらいある証明書の
3つだけゲットでき処理中に落ちたみたいで、残り1つの資材がゲット出来ず
処理落ちしてNginxを再起動した所、資材不足で立ち上がらず
ブログ自体が落ちてしまった経緯です。

対策

これは、全部が取得出来たかを確認した後にnginxを再起動するという
シェルに改変することで、バッチサーバが転けてもある程度は行ける
状況になると思うので、そちらを実装していきたいと思います。

何はともあれ、数時間のダウンで終わったので良かったです。
監視サーバも入れてますが、寝ずに見てるわけではないので
alertは事後対応になっちゃいますね。

The post ブログダウン💦 first appeared on ～下町物語～.