megaindexってなんやねんｗ

https://megaindex.com/crawler　が当ブログを根こそぎクロールしていってますね・・・。このブログ自慢じゃないけど４６００以上記事が入って居るので、このペースでやってても、へたしたら２～３日かかるんですよｗなんすかね？このcacheのたまり具合は・・・。３日で終わればいいかな？前のクローラーは、１日で終わらず２日目には４インスタンス別のグローバルIPからつつき出しましたからね。それでも３日はかかってましたけどねｗ

CPUもどんどんあがって、５０％位つかっちゃってますし、これいつまで続くんですかねｗ

データベースの終了も、こんな感じになっちゃってますし。これは、気が済むまでクロールさせるか？それとも、iptablesではじいちゃいますかね？最近の傾向としては、海外のサイトにクロールされて、コメントがやたらと英語で書かれて意外にびびってる感じもあるんですが、下手くそな英語でコメント返すわけですよｗ。それで通じているのか？否か全く分からないですけどね。まじこれDTIでやってたらまた、サーバダウンさせられるわ・・・。こういうのが来ると６コアのサーバに変更しておけば良かったなって思っちゃいますよね。

最近分かったけど、結経マリアDBがアウトオブメモリーをはいていた事実に気が付かなかったですね。あれも対応していかないとですねぇ。

ワールドワイドなブログになれるように、いつもならチキンなので、すぐそこの会社が持っているIPアドレスをネットマスクで閉じてしまって終わりにするのですが、今回も放置してみようと思います。ロシアのクローラ－らしいです。ロシア語でコメント来てもかえせねーしどうしようかなぁ。色々悪評高いサイトっぽいけど。隠し部屋のボタン押しちゃったりするらしいですけど。このブログは隠し部屋などはございません。あしからずですが。とりあえず、クロールされるとアクセス数もあがるのも確かですし、なんともマイナス事ばかりじゃない気はしますし・・・。どうしたものかな！？

cache開放の為、この記事は即時公開致します。

The post megaindexきたぁ！！ first appeared on ～下町物語～.

朝からＺａｂｂｉｘがないてるので見て見ると、負荷が1～2を行ったり来たりしている・・・。

また、Cloud運営で止められてしまうじゃないかｗ
過去2回くらいCloud運営者に警告を受けており、強制停止を食らった事がある。

ただ、その時はメモリーもリークして、さらにスワップしてIOwaitまで発生して
ひどい有様になって停止に至った気がします。

ぶっちゃけ、ここのCloudあまり良く無いので
他のSSD等つかえるCloudにマイグレーションしている最中って事もあって
追々、がっつり移行したいと思います。

表示されるのも、結構襲いですからね。
マグネットディスクを現在使ってますが、
Web公開しかしてないですが、やたらと負荷が高いですからねぇ。
複数Webが動いているってのも事実ですが・・・ｗ

結構な秒数で記事さらってますね・・・。
ドミニカ連邦（ドミニカ国）のBotのようです。
ちょっと、お行儀が悪いですねぇ。
一回iptablesで止めちゃおうかな。悩ましいですよねぇ。

46.229.168.72 – – [06/May/2017:09:29:44 +0900] “GET /page/4?e=3211 HTTP/1.1” 200 134404 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.75 – – [06/May/2017:09:29:47 +0900] “GET /archives/3346 HTTP/1.1” 200 131578 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.74 – – [06/May/2017:09:29:49 +0900] “GET /page/406?e=3524 HTTP/1.1” 200 129471 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.70 – – [06/May/2017:09:29:55 +0900] “GET /page/410?e=246 HTTP/1.1” 200 129668 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.73 – – [06/May/2017:09:29:55 +0900] “GET /page/410?d=20130901 HTTP/1.1” 200 129718 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.72 – – [06/May/2017:09:30:03 +0900] “GET /page/4?e=3211 HTTP/1.1” 200 134398 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.72 – – [06/May/2017:09:30:09 +0900] “GET /page/393?e=1380 HTTP/1.1” 200 130125 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.75 – – [06/May/2017:09:30:13 +0900] “GET /archives/3346 HTTP/1.1” 200 131612 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.71 – – [06/May/2017:09:30:15 +0900] “GET /page/408?c=3- HTTP/1.1” 200 129878 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.73 – – [06/May/2017:09:30:16 +0900] “GET /page/410?d=20130901 HTTP/1.1” 200 129686 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.74 – – [06/May/2017:09:30:18 +0900] “GET /page/406?e=3524 HTTP/1.1” 200 129469 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”
46.229.168.72 – – [06/May/2017:09:30:30 +0900] “GET /page/393?e=1380 HTTP/1.1” 200 130091 “-” “Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)”

リンクを収集しているだけならいいですが、
サイトの魚拓を取って別で公開的なのもあるので、そうなってくると全くこちらとしては
美味しくないですからねぇｗ
うまい・まずいの世界で申し訳ないｗ

The post http://www.semrush.com/bot.html がサイトをクローリング first appeared on ～下町物語～.