またブログがダウンしていました。原因は、アタックでもなんでも無く、
以前から時々発生しているSSL証明書バッチサーバから取得出来ず、落ちているといった状況です。

対策

これは、対策して、スクリプトを少し改編しつつあって、改善出来る様にバージョンアップをしています。
ブログサーバは、最新の資材であるMasterからデプロイされていますが、今コミットしているのはDevrelopブランチなので
そっちの資材をMasterにマージして、先ほどデプロイしました。
これで、少しましになるか？ちょっと様子見ですね。

GitLabがメモリーが足りず、スワップさせながら使っているのが原因なのは分かってるのですが
インスタンスタイプをあげると、コスト高になってしまうので、スワップサイズを大幅に拡大し
スワップ前提で動かしているので、バッチサーバから応答がかなり遅い時があって
その時、取得側で待ちきれず、処理落ちになって、そのままNginxを再起動すると
本日の状況に陥る訳です。

本日最新の資材に入れ替えたので、これで証明書が取得出来ない場合は、翌日に処理持ち越しになり
翌日RETRYします。ただ、SSL証明書の期限が1日しかないと、証明書エラーがでてしまうので
その場合は、その場でRETRYするように現在プログラム修正を行っています。
現段階としては、取得はスキップして翌日RETRY方式としています。

どうなるか！？

毎朝5時に処理が走っているので、明日朝また確認しようと思います。
ブログが見れない時は、少し待って頂けると手動回復しておきます。
引き続き、よろしくお願いします。

2024/08/14追記

本日のバッチ処理は無事成功しており、問題無く稼働継続出来てます。
これでしばらく様子をみてみようと思います。

The post むむむ！Blog Down💦 first appeared on ～下町物語～.

2024/07/29 早朝から数時間ブログがダウンしていました。

原因

アタックで落ちる場合もあるんですが、今回に限っては
毎日特定時間にSSL証明書を自動更新バッチが動いているのですが
そのバッチサーバがなんと！！なんと
OSアップデートがでかいのが来てtemporaryを使いつぶして
なんと、Nginxが動作不能に陥り、証明書をゲットできなくなったのが原因です。

バッチサーバから証明書を上手く取得出来ない場合
取得側のシェルで、ある程度は旧証明書を使い翌日にRETRYするを
組み込んでいたのですが、今回は、中途半端に4つくらいある証明書の
3つだけゲットでき処理中に落ちたみたいで、残り1つの資材がゲット出来ず
処理落ちしてNginxを再起動した所、資材不足で立ち上がらず
ブログ自体が落ちてしまった経緯です。

対策

これは、全部が取得出来たかを確認した後にnginxを再起動するという
シェルに改変することで、バッチサーバが転けてもある程度は行ける
状況になると思うので、そちらを実装していきたいと思います。

何はともあれ、数時間のダウンで終わったので良かったです。
監視サーバも入れてますが、寝ずに見てるわけではないので
alertは事後対応になっちゃいますね。

The post ブログダウン💦 first appeared on ～下町物語～.

先日から調子が悪く、今朝みたら落ちてました。

原因は、とりま先日発生したアップデートのバグのせいで
コアダンプをはきまくっていた件だと思っています。

その後の調べでは、ある特定のAPIが無限ループになってメモリーを要求しまくって落ちていたようです。
結局、それ見つけるまで結構時間掛かりました。

対処方法は、いったんそのAPIをなかったことにするです。
あえて、moveコマンドで、該当のAPIを作り出しているファイルの名前を変更し
いったんSiteにアクセスして、500番internal server errorを引き起こさせます。
次に、moveしたファイルを元のファイル名に戻した所復旧しました。

ここで、少し原因的なのも書きました。
あわせまして、みていただければと思います。

https://www.rurineko.com

ただ、これが本当に正しい解決方法だったか？どうかは分かりません。
というのも、再起動もかけたけど、processが残って発生していたなら
再起動かけると、それは絶対的に解決しそうなものですが
再起動かけたぐらいでは、全く復旧しませんでした。

となると？謎は深まる一方です。
ちょっと時間が空いたら、また調査をしてみようと思います。

とりま、これの引き金になったプラグインについては、もう使わない削除致しました。

2023/08/31追記

昨日、いったんPHP8.0系から8.2にアップデートいたしました。
php-fpmが壊れていたのかも知れません。
今日はプラグインをアップデートしても、該当の症状は出なくなりました。

php-fpmの該当バージョンのバグだったのかも知れません。
よく分かりませんが、これでいったん様子をみてみようと思います。
毎朝6時にパッチを自動適用しているので、php-fpmのバージョンが上がったことで
発動した可能性もありますね。

The post ブログが落ちてました！ first appeared on ～下町物語～.

あまり意味は無いんですが、ブログのRankingをとってきて
自動更新及び自動掲載するプログラムを書きました。

サイトの右サイドバーの下の辺りに出ていると思いますが
それです。

例の案件が終わり、次の案件までの間の隙間作業ですね。
前からちょっと書きかけていたのですが、諸々心に余裕がなかったので
まったく進みませんでした。

案件終わってから、時間的余裕と心にも少し余裕が出来たので
サクッとやっつけちゃいました。

どんなことやってるの？

データ取得先がAPIとか持っていればサクッと持ってこれるのですが
そんなのはないので、HTMLをパースして必要な情報な情報だけを
変数に格納し、自動更新するような感じのプログラムです。

プログラムのキックは、Jenkinsをつかってもよかったのですが、
今回はcronを使っています。
あまり、数分ごとにキックしたら、その都度かわってますので
向こうも割とリアルタイムに近い感じで動いているみたいなので
情報をとってくるタイミング、何分？何時間？おきにするか？
悩ましい所だけど、ぶっちゃけ、いらない機能なので6時間毎に自動更新にしました。

プログラマー？なんですか？

私は、プログラマーではないので、全くこういうのは得意じゃないですね。
プログラマーの人がソースみたら、何じゃこりゃっていうでしょうｗ

私は、そのプログラミング手法をパワーロジックと呼んでます。
それバズらそうと思います。パワーロジックですよ！

結局、帰って来るHTMLが動的で！？【2022/04/05】追記

分かっていたのですが、Rankingサイトから帰って来るHTMLが変化すると
かなり全然違う方の順位をとっているみたいですね。この順位は可笑しいです。
なおさないとですが、ちょっと時間もまた無くなってしまったので
暇な時なおしますね。

現時点としては、間違った順位を日々表示していると思っておいてください

The post ちょっと時間ができたのでプログラム書いた first appeared on ～下町物語～.

まず最初に

色々暗雲立ちこめるProjectはありますが、今年も暗雲からの幕開けです。おそらく、この題名だけを読んだプロマネの方は、なんだ、そっちのProjectか！？って思われたかもたかもしれません。

案件のProjectが暗雲については、また別記事で書きます。そっちを現実逃避したくて、これを書いているといっても過言ではないです。私はプロマネではありませんが、システム側を見ているので、去年からそれで体調を崩したり、入院したりそんな状況まで追い込まれたProjectに参画しています。ただ、そろそろチェックメイトな予感です。

そんなことよりここで取り上げるネタについて

気をとりなおして、年末から気がついてましたが、今ラジオをJenkinsを使って録音しているのですが、そのJOBというかProjectが転けまくっているという事についての記事となります。時間がなくて、ゆっくり腰を据えて原因追求と修正する時間がとれなかったので、やっとこの三が日で着手しました。

まずは、状況確認からしてみましょう。

思った通り全部のJOBが転けてますね。真っ赤っかですｗ
録音しているサーバが転けている場合も、その状況になりますが、SSHで問題無く接続出来るし、Zabbixでみる限りリソースが張り付いているとか、HDDスペースが全く空いてない等の状況は確認出来ませんでした。

いつから転けだしたのか？を見る

これを見る限り、12月2日までは旨く行っていたようですね。ということは、この辺りの深夜枠で仕様が変わった物と思われます。仕方が無いですね。こんなことは過去何度も直面しています。ブラウザーのバックエンドを解析すると、どんなことをやっているのか分かるので、そこでいつも修正をかけるのです。

どうも解析をした結果

consoleログをみると、処理落ちして、スラックに通知している事が分かりますね。まあ、通知がきていたので知ってるという話なのですが、その中でも、

09:00:06 failed auth1 process

という文字列です。これは、認証の1つめで転けてるよっていうエラーです。今まではFLASHでそこにアクションをかけて、認証キーをもらってそのキーを使って録音のmotionに入ってました。それがもらえてないので、録音を打ち切りましたという事みたいです。プログラム上で、authキーを取得できなかった場合、exit 1で処理落ちする構文となっている為、さきには進まず、キックされて、処理の途中で落ちる感じで今日まできたのが、現況ですね。

今回は、12月でFLASHが終わる事で、今まで認証キーのやりとりをFLASHでやってました。そこから、トークンキーの決め打ちの値で認証する方式に変更になったようです。FLASHからhtml5の認証に変わっています。

その当たりをサクッと修正を加えて、先ほど録音出来る事を確認しました。後きっと番組も終わった物とか結構ありそうなので、一度整理しないと行けないかもしれません。

潜在的なバグ

微妙に、27時対応をプログラムの上でやってて、年またぎや月またぎの所で、たまに旨く行かない潜在的なバグものこっているので、それらについては追々修正を入れます。微妙に下記の様な奴ですね。11月24日が取得できず、11-_24となってますよね？本来は11-24_24.00.00とかにならないと行けないのと、なぜか24日が2つ同じ内容だとおもうのすが、処理されているのが見れますね。

12/01 00:00 に1時間録音したとして、保存される時間が12-01-01.00.00になるとラジオ時間にならないので、11-30-24.00.00にしたいわけです。その当たりの処理を入れてます。年をまたいだ時は、2021/01/01 00:00 – 01:00 まで録音した場合の表記は2020-12-31.24.00.00にしたい訳です。その当たりのパターンが足りて無いのかもしれません。閏年の判定も入れてますが、その当たり是パン見直しですね。繰り下がりがあるので若干ややこしいのです。

今日は日曜日なので

山下達郎のサンデーソングブックなJOBがこの後14時から動くと思うので、そこで動作チェックをします。問題無いと思いますけどね。おそらくｗ有償サービスじゃないので、気分は楽ですね。

結果

問題無くSUCCESSまでたどりつきましたね。天気アイコンは、12月3日からずーっとFailしてたので、しばらくは雨のままだと思います。回数を重ねていくと、曇り・晴れ時々曇り・晴れと変化していきます。とりあえず、青玉になったので、ひとまず改修はこれで完了ということで！

The post 暗雲立ちこめるProject！ first appeared on ～下町物語～.

この前のメンテナンスで、よく見ると凄くエラーをはいてる事に気がついてはいたんですが、あまりにもエラーがでるので、ちょっとだけ調べて見ました。Accessログより、エラーログの方が大きい・・・。汗

まあ、エラー内容を確認すると、何何！

とりま、ソースコードを出すプラグインで、正規表現のお作法が変わった為、エラーをはきまくっている用ですね。これは、アップデートするしかないのですが、この作者は3年前からプラグインの開発をやめたのか？アップデートがありません。よって、最近phpのVerを最新にあげたので、そこから出始めたようですね。php7.2辺りまでのVerならこのエラーは出ない想定だったんですが、最新にあげた事で、お作法の差異に引っかかった模様です。

さてと、どうしましかね？

私は、インフラの技術者なので、phpなんてほとんど分からない・・・。このWordpress色々いじってますが、本当よくわからんわって感じでいじっています。まあ、なんとかやってはいるんですが、コア部分になると全然分からないので自分で修正するのは、ハードル高いんですよねぇ。

色々探した所、

あるじゃないの！有志の方が、修正した物を配布している様です。これを今回は使わせて頂く事にします。

作業としては、ダウンロードしてきて、サーバに上げて解凍して、オーナーを変更して、該当ディレクトリから削除して、同じディレクトリ名にして置き換えるだけです。後で、diffかけてどこを修正したか、勉強がてら見て見ようと思います。それを、我が社のｐｈｐのエンジニアにちょっと聞いて見ようと思います。

提供元URLは下記の通り
https://github.com/Crunchify/crayon-syntax-highlighter/releases

本当にありがとうございます。感謝感謝です。

The post 半端なくエラー出まくり　WordPress first appeared on ～下町物語～.

今夜、１時間から２時間くらいこのブログ止めます。システムメンテナンスを行います。多分００時頃から２時頃まで作業すると思います。バックアップとったりして実施するので、実質作業は３０分から１時間くらいでしょうか。

上記みたいな画面は、出さずにやっちゃいます。そーりーぺーじ、切り替えるのがめんどくさいというだけ・・・（爆）

内容は、モジュールのバージョンアップとパフォーマンスチューニングを実施する予定です。ここ数日コロナで外に出られてないので、ブログのメンテナンスばかりやっています。

サーバ設定の方向性が決まったので、今日夜にでもやってしまいます。若干レスポンスがさらに上がればいいなと思っています。メモリーもかつかつでやっているので、もう少しメモリーチューニングやって、だめなら３GBまであげてしまおうと思っています。

それでは、よろしくお願いいたします。

The post 今夜2時間くらいこのブログ止めます first appeared on ～下町物語～.

サイトが、もっさりしてきたので、色々ヘルスチェックも含めて、インスタンスのスナップショットをとって、そっちで改善して、変更点を本番サーバに当てていってます。

かなりの表示速度の改善が出来ました。まだまだ、余地はありますので、もう少しperformance良く出来ると思います。ちょっとした事なのですが、ココにきて内部を大改装しています。

明日は、もう少し内部をブラッシュアップ出来ればほぼ終わりますね。
このGW中に終わらせましょう。コロナで外に出れないので、こんな事しかする事がないです・・・。ある意味いいのか悪いの分かりませんが、外に出れない以上は、やっぱりサーバメンテナンスをがっつりやった方が良いですね。

The post かなり、表示速度を改善できたはずｗ first appeared on ～下町物語～.

ラズパイNTP　ST1どうなった？

先週ラズベリーパイにGPSモジュールを取付、完全にPPSを使って高精度化しましたが、その安定度についての報告です。
下記のグラフの通りPPSのJitterとかは、0.001～0.002ms辺りでうろうろしています。ただ、その位の精度が担保出来るという事です。

システム全体に配信している配信サーバでの値をグラフ化しています。概ね0.25ms ～ 平均で0.45ms辺りの精度を担保出来ています。

前回のUSBモジュールによる、GPS受信での安定度から比べると限りなく受信ロスがなく、全く精度も問題無い水準を担保出来ている状況です。グラフの切れ目がない事がその証拠ですね。このシステムをLocal標準時刻む君と命名したいと思います。電波時計の電波を受信するのも1つの手ですが、どちらがJitterが高いのか不明ですが、いったんナノ秒単位の精度が確保出来ているので問題無い気がします。ひとまず、これで1年くらい運用してみてどうなるか？を引き続き検証していきたいと思います。

The post ラズベリーパイ　NTPその後 first appeared on ～下町物語～.

ラズベリーパイでNTP ST1 完結編

前回ラズベリーパイ Pi3でGPSでSt1 NTPserverって記事を書きました。詳しくはみれもらえれば良いかなと思いますが、
掻い摘まんで書くと

• GPSモジュールの安定度が低くすぐGPSを見失ってしまう（GPSのアンテナを外にだしたい）
• PPSがとれていない事で、時刻同期品質のJitterが2桁～3桁で正確な値を刻んでいるとは言いがたい

ラズベリーパイ Pi3でGPSでSt1 NTPserver

さてと、大分我慢していたのですが、つい買っちゃいました。

はい。GPSモジュールキットですね。色々GPSモジュールキットは出ているのですが、何故これにしたか？色々理由はあるんです。

• GPSの外付けのアンテナが出ていて欲しい
• PPSの出力がある
• ラズベリーパイと接続コネクタが同梱されてる（半田付けは自分でしなきゃなんですが）
• バッテリーバックアップコネクタを要し、バッテリーを接続する事でラズパイがオフの時でも時間を保持する

ということで、この基板にしました。買ったのは、この基板とGPS外付けアンテナです。

ラズベリーパイに実装してみましょう。

使って居たケースに全く入らなかったので、とりあえず上蓋を外して、ひとまず動作確認しています。黒い細いケーブルがでているのは、GPSの外付けのアンテナが接続されていて、窓際においてます。基板上にのっているのもGPSのアンテナだと思いますが、まあ、そちらは使いません。

流したコマンドは、下記の通りです。

  536  stty -F /dev/serial0 raw 9600 cs8 clocal -cstopb
  537  cat /dev/serial0
  538  sudo apt-get install gpsd gpsd-clients python-gps
  539  sudo systemctl stop gpsd.socket
  540  sudo systemctl disable gpsd.socket
  541  sudo systemctl enable gpsd.socket
  542  sudo systemctl start gpsd.socket
  543  sudo gpsd /dev/ttyAMA0 -F /var/run/gpsd.sock
　550  sudo vi /etc/default/gpsd
  556  sudo sh -c "echo 'dtoverlay=pps-gpio,gpiopin=4' >> /boot/config.txt"
  557  sudo apt-get install -y pps-tools
  562  sudo apt-get install -y libcap-dev
  565  sudo sh -c "echo 'server 127.127.28.0 minpoll 4 maxpoll 4 prefer' >> /etc/ntp.conf"
  566  sudo sh -c "echo 'server 127.127.28.0 minpoll 4 maxpoll 4 prefer' >> /etc/ntp.conf"
  567  sudo sh -c "echo 'fudge 127.127.28.0 time1 0.490 refid GPS' >> /etc/ntp.conf"
  568  sudo sh -c "echo 'server 127.127.22.0 minpoll 4 maxpoll 4' >> /etc/ntp.conf"
  569  sudo sh -c "echo 'fudge 127.127.22.0 flag3 1 refid PPS' >> /etc/ntp.conf"
  593  sudo ppstest /dev/pps0
  574  NTPVER=ntp-Ver*.**p*
  575  wget http://www.eecis.udel.edu/~ntp/ntp_spool/ntp4/${NTPVER}.tar.gz
  576  tar xfz ${NTPVER}.tar.gz
  577  cd ${NTPVER}
  578  sudo ./configure --enable-NMEA --enable-linuxcaps && sudo make &&sudo make install
  579  sudo cp /usr/local/bin/ntp* /usr/bin/
  580  sudo cp /usr/local/sbin/ntp* /usr/sbin/
  581  sudo service ntp stop
  582  ntpq -p
  583  sudo service ntp start

動作確認してみましょう

PPSがとれているかどうかを確認します。問題無くPPS信号が取れています。デバイスとしても認識されています。

ntpq -qの結果でも確認しましょう。

GPSとPPSのデバイスが見えている事を確認出来ますね。そして、SHMに＊がついて居て同期がされていることが確認出来ますね。そして、PPSの先頭にはo文字がついてます。これは、PPSを使って補正をしているって事を表しています。この状態でGPSだけのJitterが19.808msであり、PPSは0.010msである事が分かります。PPSがどれだけの精度で動いて居るか分かると思います。

次にNTPのステータスを見て見ましょう

pi@ntp:~ $ ntpq -c rv
associd=0 status=0118 leap_none, sync_pps, 1 event, no_sys_peer,
version=”ntpd *.*.*p*@*.6243 Sat Sep 22 14:58:22 UTC 2018 (1)”,
processor=”armv7l”, system=”Linux/4.4.38-v7+”, leap=00, stratum=1,
precision=-20, rootdelay=0.000, rootdisp=1.030, refid=PPS,
reftime=df50ea32.3e2c4c0e Sun, Sep 23 2018 1:20:02.242,
clock=df50ea34.4295855e Sun, Sep 23 2018 1:20:04.260, peer=5140, tc=4,
mintc=3, offset=-0.003287, frequency=-9.791, sys_jitter=0.001926,
clk_jitter=0.003, clk_wander=0.001

stratumは、想定通りの1階層目で動作している事が分かりますね。そして、PPSで補正している事も分かりますね。

では、PPS対応した事でlocal環境のPC立ちはどうなったか見て行きましょう。

3番目に今回PPS対応したラズベリーパイがいますね。nict.goで今は同期していて、 mfeedとラズベリーパイが+で評価対象だと言ってます。Jitterが現時点では、nict.goが一番低い為、一番正確なNTPに同期したものと思われます。

ここからPPSのそこ力を垣間見る事になります。

Jitterは流動的なので、この確認した時にはラズベリーパイが一番低くラズベリーパイに同期した事が分かります。よしよし！とりあえず、local環境に設置したラズベリーパイが一番正確だと思ってもらったらしいです。

もう少し時間がたって見て見ると

もう独走態勢ですね。Jitterが0.160msと他の2つのNTPと比べても数倍の精度が出ている事が分かります。これで、local環境により正確な時計が同期出来るNTPserverが構築できました。

もう誰も勝てませんね。とりあえず、PPSがどれだけ精度を持っているか？お分かり頂けれたかと思います。0.069msのJitterです。ほぼ正確な時間を担保出来ている状況です。ケースがないのでむき出しですけどねｗ

最後のラズベリーパイの省電力機能を切って、フルパフォーマンスで動作させる仕様に変更後

sudo su –
echo performance > /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor
reboot

PPSのJitterが0.002とかになってますね。半端ないですね。

後は、安定度を見る為、このまま起動してGPSを見失わなければOK

という事で、明日ラズベリーパイを新しいケースに詰め替えて、アンテナ端子をちゃんと穴を空けて取り付けてGPSアンテナを外に設置すればいったん終わりです。問題無く稼働してくれると思っています。

先ほど外にGPSアンテナを設置してきました。

GPSの広う速度も速くなって、さらにGPSの同時受信している数も格段に増えました。これで、両面テープで固定したら今回のラズベリーパイでGPSによるナノレベルのST1構築は終了します。

The post ラズベリーパイでNTP ST1 完結編 first appeared on ～下町物語～.