今までHFに全く関わってこなかったので、気にもしてなかったんですが
Eスポは、春から夏にかけて良く発生するようです。

昔からEスポ（スポラディックＥ層　以下Eスポ）の存在は知っていたのですが
HFで波を出し始めたのは今年1月に再開局して
3月くらいにIC-705を買ってからなので全くの初心者なんです。

Eスポの情報が公開されているのも最近まで知らなかったです。
下記がその公開されているURLです。

https://wdc.nict.go.jp/ISDJ/ionospheric-signal.html

Eスポが発生していると、赤信号が点滅してEスポ発生中だと知らせてくれます。
また、黄色点滅、継続してEスポが出ている状態だそうです。
StormやSIDなんかも表示されるようです。

さらに、Eスポが日中だけでなく、深夜も発生している事が良くあって、
Twitterに情報取得して、つぶやければTwitterでプッシュされてくるから
便利良いんじゃない？って思い始めて、EスポBotの開発を思い立ちました。

開発っていっても、情報とって加工するところと、Twitterにつぶやくロジックと
Bashでつらつら書いて実装しましたが、場合によって定期取得で同じ結果ならば
つぶやきたくないので、そのロジックを今追加で作っています。

Eスポが出た場合、すぐつぶやければいいのですが、常時監視している訳にも行かず
プログラム的にという感じになりました。

あまりつぶやきすぎるのも、五月蠅くなっちゃうので、1時間に1回とかの目処で
例えば、観測地点全部にEスポが発生したら特別につぶやくとか、条件を検討しつつ
追加実装出来ればいいなと思っています。

今回勉強がてら作りましたが、既にあるようですね。
色々Verアップして行きましょう。ロジックは自分でつくっているので
より良くねしていけると思います。数値まででているのは素晴らしいですね。
私のボットもがんばらないとね。

The post EスポBotの開発 first appeared on ～下町物語～.

先日の大幅性能劣化を受けて

さて、先日の大幅性能劣化を目の当たりにして、流石に昨日ブログサイトのserverをチューニングしました。その後２時間くらいモニタリングしましたが、４つ程子serverが自動起動してきた位でメモリーは残量400MBくらい残量がある状態で安定しています。

行ったチューニングについて

nginx側とphp側をチューニングしました。チューニングポイントとしては、次の通りです。

設定ファイル：/etc/php-fpm.d/www.conf　こいつをいじってあげます。

○リソースの自動配分の設定
変更前＞pm = dynamic
変更後＞pm = static

これについては、dynamicだと、serverに重みを任せる運用が出来る反面、リソースが潤沢に用意されている場合は有効ですが、このブログが動いて居るような品祖なserverでは、すぐout of memoryが発生して駄目になります。予想も出来ない為、基本的にstaticに設定を行うポリシーとしたいと思います。

○作成される子プロセスの最大数(apacheでいうとmaxclient) 同時に処理をする可能性がある子プロセス数
pm.max_children = 3

下記3つ動作している事が確認出来る。

○起動時に作成される子プロセス数(min_spare_servers + (max_spare_servers – min_spare_servers) / 2) プロセス開始時に生成される子プロセス
pm.start_servers = 5

○アイドル状態のサーバプロセス数の最小値
pm.min_spare_servers = 5

○アイドル状態のサーバプロセス数の最大値
pm.max_spare_servers = 10

○各子プロセスが再起動するまでに実行するリクエスト数(メモリーリーク防止)設定例だと200リクエストすると、破棄され再度起動されます。
pm.max_requests = 200

○phpのメモリ利用制限（これが前の設定では1024Mと大幅にでかい設定になってました）
php_admin_value[memory_limit] = 128M

○timeoutの設定(単一のリクエストを処理する際のタイムアウト。この時間を過ぎるとワーカープロセスが kill されます)
request_terminate_timeou = 20

とりあえず、上記有効そうなパラメーターのチューニングを行いました。今まで子serverのpm.max_requestsが入ってなかったので、200リクエストをカウントしたら、その子serverは削除されて別の子serverに引き継がれる設定を行いました。これが入ってないと長時間処理を行いメモリーリークの発生する確率が上がります。

zabbixの監視状況はどうよ？

昨日からのメモリーの状況ですが、特に変わり無く安定しています。

cacheサイズをロガーしてますが、これを見るとどこで人が一杯見てくれたのか？更新したタイミングとかモロわかりですね。

若干、小serverの数が少ない設定になってますが、ちょっと様子見ですかね。もともとserverのメモリーが少ないので、しょっぱい設定以外できないです。ただ、SSDの恩恵はかなり受けていると思います。

チューニングを行ってからCPUが結構食われている気がします。その分速度は出ている気がします。

今度時間が合ったら、zabbixで子プロセスの情報をロガーしてグラフを書いたりしてもおもしろいのかな？と思いました。

余談ですが、ちょっと負荷が高いと思ったら、Botがブログを舐めに来ている様ですね。

さっき無茶な設定したら、out of memoryになってOSがダウンしましたｗｗｗ
コンソールよりフォースリセットをかけました。mariaDBが壊れていない事をねがって・・・。お願いマリアさーーーーん！！

The post ブログサイトのserverをチューニングしました。 first appeared on ～下町物語～.

今日先ほど、zabbixのcacheグラフを見て唖然ですｗ
なんじゃこりゃ・・・。1．0ｋMbyteになっているじゃないですか・・・・。
ちなみに、このグラフ私が記事を投稿すると自動削除（リフレッシュ）されて、0に戻ります。
それから、皆様にアクセスされるとどんどんcacheが生成されて、静的コンテンツに差し替わっていきます。
JSなんかは、動的に動くので、コンテンツ部分だけ静的コンテンツになっていくイメージですね。
という事は、このcacheサイズってのは、アクセスされた数に比例するので
今日はたくさん見ていただいたんだって感じで、zabbixでグラフを描かせている次第です。

どうも、ＣＰＵの負荷率をみる限り、高速化したサイトをざーっと勢いよく舐めて行った感じに
なっているグラフが見て取れますね。

今までだと、数日かかって全記事引っ張っていくbotはあったけど、
1日でもっていって締まったのですね。ちょっと、botも考え物ですねぇ。
とりあえず、このくらいアクセス来ても、Out of memoryに深夜帯はなってないので
設定の効果はでているのかな？と思っちゃいましたがｗ。負荷試験ありがとぉと言いたいｗ

The post なんじゃこりゃｗ　→　bot被害かぁ！！ first appeared on ～下町物語～.

また、Cloud運営で止められてしまうじゃないかｗ
過去2回くらいCloud運営者に警告を受けており、強制停止を食らった事がある。

ただ、その時はメモリーもリークして、さらにスワップしてIOwaitまで発生して
ひどい有様になって停止に至った気がします。

ぶっちゃけ、ここのCloudあまり良く無いので
他のSSD等つかえるCloudにマイグレーションしている最中って事もあって
追々、がっつり移行したいと思います。

表示されるのも、結構襲いですからね。
マグネットディスクを現在使ってますが、
Web公開しかしてないですが、やたらと負荷が高いですからねぇ。
複数Webが動いているってのも事実ですが・・・ｗ

結構な秒数で記事さらってますね・・・。
ドミニカ連邦（ドミニカ国）のBotのようです。
ちょっと、お行儀が悪いですねぇ。
一回iptablesで止めちゃおうかな。悩ましいですよねぇ。

46.229.168.72 – – [06/May/2017:09:29:44 +0900] “GET /page/4?e=3211 HTTP/1.1” 200 134404 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.75 – – [06/May/2017:09:29:47 +0900] “GET /archives/3346 HTTP/1.1” 200 131578 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.74 – – [06/May/2017:09:29:49 +0900] “GET /page/406?e=3524 HTTP/1.1” 200 129471 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.70 – – [06/May/2017:09:29:55 +0900] “GET /page/410?e=246 HTTP/1.1” 200 129668 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.73 – – [06/May/2017:09:29:55 +0900] “GET /page/410?d=20130901 HTTP/1.1” 200 129718 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.72 – – [06/May/2017:09:30:03 +0900] “GET /page/4?e=3211 HTTP/1.1” 200 134398 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.72 – – [06/May/2017:09:30:09 +0900] “GET /page/393?e=1380 HTTP/1.1” 200 130125 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.75 – – [06/May/2017:09:30:13 +0900] “GET /archives/3346 HTTP/1.1” 200 131612 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.71 – – [06/May/2017:09:30:15 +0900] “GET /page/408?c=3- HTTP/1.1” 200 129878 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.73 – – [06/May/2017:09:30:16 +0900] “GET /page/410?d=20130901 HTTP/1.1” 200 129686 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.74 – – [06/May/2017:09:30:18 +0900] “GET /page/406?e=3524 HTTP/1.1” 200 129469 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.72 – – [06/May/2017:09:30:30 +0900] “GET /page/393?e=1380 HTTP/1.1” 200 130091 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”

リンクを収集しているだけならいいですが、
サイトの魚拓を取って別で公開的なのもあるので、そうなってくると全くこちらとしては
美味しくないですからねぇｗ
うまい・まずいの世界で申し訳ないｗ

The post http://www.semrush.com/bot.html がサイトをクローリング first appeared on ～下町物語～.