megaindexきたぁ!!


megaindexってなんやねんw

https://megaindex.com/crawler が当ブログを根こそぎクロールしていってますね・・・。このブログ自慢じゃないけど4600以上記事が入って居るので、このペースでやってても、へたしたら2~3日かかるんですよwなんすかね?このcacheのたまり具合は・・・。3日で終わればいいかな?前のクローラーは、1日で終わらず2日目には4インスタンス別のグローバルIPからつつき出しましたからね。それでも3日はかかってましたけどねw

CPUもどんどんあがって、50%位つかっちゃってますし、これいつまで続くんですかねw

データベースの終了も、こんな感じになっちゃってますし。これは、気が済むまでクロールさせるか?それとも、iptablesではじいちゃいますかね?最近の傾向としては、海外のサイトにクロールされて、コメントがやたらと英語で書かれて意外にびびってる感じもあるんですが、下手くそな英語でコメント返すわけですよw。それで通じているのか?否か全く分からないですけどね。まじこれDTIでやってたらまた、サーバダウンさせられるわ・・・。こういうのが来ると6コアのサーバに変更しておけば良かったなって思っちゃいますよね。

最近分かったけど、結経マリアDBがアウトオブメモリーをはいていた事実に気が付かなかったですね。あれも対応していかないとですねぇ。

ワールドワイドなブログになれるように、いつもならチキンなので、すぐそこの会社が持っているIPアドレスをネットマスクで閉じてしまって終わりにするのですが、今回も放置してみようと思います。ロシアのクローラ-らしいです。ロシア語でコメント来てもかえせねーしどうしようかなぁ。色々悪評高いサイトっぽいけど。隠し部屋のボタン押しちゃったりするらしいですけど。このブログは隠し部屋などはございません。あしからずですが。とりあえず、クロールされるとアクセス数もあがるのも確かですし、なんともマイナス事ばかりじゃない気はしますし・・・。どうしたものかな!?

cache開放の為、この記事は即時公開致します。


PVアクセスランキング にほんブログ村

Related posts