朝からＺａｂｂｉｘがないてるので見て見ると、負荷が1～2を行ったり来たりしている・・・。

また、Cloud運営で止められてしまうじゃないかｗ
過去2回くらいCloud運営者に警告を受けており、強制停止を食らった事がある。

ただ、その時はメモリーもリークして、さらにスワップしてIOwaitまで発生して
ひどい有様になって停止に至った気がします。

ぶっちゃけ、ここのCloudあまり良く無いので
他のSSD等つかえるCloudにマイグレーションしている最中って事もあって
追々、がっつり移行したいと思います。

表示されるのも、結構襲いですからね。
マグネットディスクを現在使ってますが、
Web公開しかしてないですが、やたらと負荷が高いですからねぇ。
複数Webが動いているってのも事実ですが・・・ｗ

結構な秒数で記事さらってますね・・・。
ドミニカ連邦（ドミニカ国）のBotのようです。
ちょっと、お行儀が悪いですねぇ。
一回iptablesで止めちゃおうかな。悩ましいですよねぇ。

46.229.168.72 – – [06/May/2017:09:29:44 +0900] “GET /page/4?e=3211 HTTP/1.1” 200 134404 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.75 – – [06/May/2017:09:29:47 +0900] “GET /archives/3346 HTTP/1.1” 200 131578 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.74 – – [06/May/2017:09:29:49 +0900] “GET /page/406?e=3524 HTTP/1.1” 200 129471 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.70 – – [06/May/2017:09:29:55 +0900] “GET /page/410?e=246 HTTP/1.1” 200 129668 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.73 – – [06/May/2017:09:29:55 +0900] “GET /page/410?d=20130901 HTTP/1.1” 200 129718 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.72 – – [06/May/2017:09:30:03 +0900] “GET /page/4?e=3211 HTTP/1.1” 200 134398 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.72 – – [06/May/2017:09:30:09 +0900] “GET /page/393?e=1380 HTTP/1.1” 200 130125 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.75 – – [06/May/2017:09:30:13 +0900] “GET /archives/3346 HTTP/1.1” 200 131612 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.71 – – [06/May/2017:09:30:15 +0900] “GET /page/408?c=3- HTTP/1.1” 200 129878 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.73 – – [06/May/2017:09:30:16 +0900] “GET /page/410?d=20130901 HTTP/1.1” 200 129686 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.74 – – [06/May/2017:09:30:18 +0900] “GET /page/406?e=3524 HTTP/1.1” 200 129469 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.72 – – [06/May/2017:09:30:30 +0900] “GET /page/393?e=1380 HTTP/1.1” 200 130091 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”

リンクを収集しているだけならいいですが、
サイトの魚拓を取って別で公開的なのもあるので、そうなってくると全くこちらとしては
美味しくないですからねぇｗ
うまい・まずいの世界で申し訳ないｗ

The post http://www.semrush.com/bot.html がサイトをクローリング first appeared on ～下町物語～.