アタック！！

久しぶりにブログ書いてますが、errorログにアタックを検出したのでネタにしたいと思います。

まず下記がアタックされている様子のスクリーンショットです。222.185.238.250のGIPからアタックされていることが分かります。

アタック元

という事なので、これは中国からのアタックだという事が分かりますね。ウザイのでそろそろ対策を講じて行きたいと思います。方向性はアタックされるIPがある特定のルールに基づき自動BANされる仕組みをつくって行きます。

ブログを書きながら構成変更完了

○まずは、必要なツールをインストールをする。
sudo yum install fail2ban fail2ban-systemd

○次に、今回閉め出したいアクセスを検出するフィルターを作成する
sudo vi /etc/fail2ban/filter.d/wordpress_filter.conf

[Definition]
failregex = ^<HOST>.*POST.*(wp-login\.php|xmlrpc\.php).*$
            ^<HOST>.*"(GET|POST).*" (404|403) .*$
ignoreregex =

○フィルターを使っての動作を記述する
sudo vi /etc/fail2ban/jail.d/wordpress_jail.conf

[DEFAULT]
bantime  = 43200
findtime  = 3600
maxretry = 3
#banaction = firewallcmd-ipset
banaction = iptables-multiport
backend = gamin
action = %(action_mwl)s
ignoreip = 127.0.0.1/8

[recidive]
enabled = true
bantime = -1
findtime = 259200
maxretry = 2

[sshd]
enabled = true
port = 2345

[wordpress]
enabled = true
filter = wordpress_filter
logpath = /var/log/nginx/*access.log

この辺りで設定した正規表現で該当アクセスを検出できているか？確認
今回で言うと、下記の問題中国からのアタックを閉め出したい訳なので、該当アクセスにヒットしている事を確認

fail2ban-regex /var/log/nginx/access.log /etc/fail2ban/filter.d/wordpress_filter.conf –print-all-matched

|  222.185.238.250 - - [06/May/2019:03:31:21 +0900] "GET /123131/index.php HTTP/1.1" 404 548 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0)" "-"
|  222.185.238.250 - - [06/May/2019:03:31:21 +0900] "GET /program/index.php HTTP/1.1" 404 548 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0)" "-"
|  222.185.238.250 - - [06/May/2019:03:31:21 +0900] "GET /shopdb/index.php HTTP/1.1" 404 548 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0)" "-"
|  222.185.238.250 - - [06/May/2019:03:31:21 +0900] "GET /phppma/index.php HTTP/1.1" 404 548 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0)" "-"
|  222.185.238.250 - - [06/May/2019:03:31:22 +0900] "GET /phpmy/index.php HTTP/1.1" 404 548 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0)" "-"

下記で動作をprocessをスタートして状況を確認する

systemctl start fail2ban
systemctl enable fail2ban.service
systemctl status fail2ban

動作確認

[hogehoge@vaaabbb-daada-gfgfldnfkjdbafndsanfdaslnfasdl　]# tail -f fail2ban.log
2019-05-06 16:02:54,087 fail2ban.server         [19532]: INFO    Exiting Fail2ban
2019-05-06 16:09:17,749 fail2ban.actions        [20201]: NOTICE  [wordpress] Ban 106.72.132.224
2019-05-06 16:09:18,066 fail2ban.actions        [20201]: NOTICE  [wordpress] Ban 66.249.71.52
2019-05-06 16:09:18,781 fail2ban.actions        [20201]: NOTICE  [wordpress] Ban 66.249.71.50
2019-05-06 16:09:31,315 fail2ban.actions        [20201]: NOTICE  [wordpress] Unban 106.72.132.224
2019-05-06 16:09:31,524 fail2ban.actions        [20201]: NOTICE  [wordpress] Unban 66.249.71.52
2019-05-06 16:09:31,736 fail2ban.actions        [20201]: NOTICE  [wordpress] Unban 66.249.71.50
2019-05-06 16:09:34,038 fail2ban.actions        [20367]: NOTICE  [wordpress] Ban 106.72.132.224
2019-05-06 16:09:34,462 fail2ban.actions        [20367]: NOTICE  [wordpress] Ban 66.249.71.50
2019-05-06 16:09:34,979 fail2ban.actions        [20367]: NOTICE  [wordpress] Ban 66.249.71.52
2019-05-06 16:22:53,371 fail2ban.actions        [20367]: NOTICE  [wordpress] Ban 126.247.226.253

後は、zabbixで上記BANされたIPの数とUNBANされた数をカウントしてグラフ化するかな！

cat fail2ban.log | grep Ban | wc -l　この辺りをZabbixに叩かせてでた数字をグラフ化すると可視化できる。後ついでにslackにプッシュする設定を行う感じで外に出ている時に知る事が出来ますね。まあ、知った所で何もないんですがｗひとまず、張り付いて見張っている訳にはいかないので、これでいったん自動運転をしようと思います。

という事で、ひとまず、実装はできたのでこれで様子をみようと思います。
それでは、何か参考にして頂ければ幸いです。

その後

いいですねぇ。順調にブロックされているGIPがキャッチ出来ています。ブロックされていても、パケットカウントが増えているので、おそらくクラックツールとかで、プログラム的にRETRYを繰り返しているのかなと思われます。まあ、ぶっちゃそんなツールを入れて直にクラックする奴なんて滅多にいないので、クラックされて侵入されてどこかのサーバやらPCやらの中で動いて居るのだと思いますけどね。まあ、ひとまず、不審な行動をするとBANされて一定時間くると開放されるけど、ある回数BANを繰り返すと、そのIPは永久にBANされたままになる様に設定をしています。とりあえず、他の寄生先を見つけて、違うGIPからアタックをするくらいしかないですが・・・。同様の状況になるので、あまり意味はなさげかなと思います。

 pkts bytes target     prot opt in     out     source               destination
   23  2261 REJECT     all  --  *      *       203.81.114.124       0.0.0.0/0            reject-with icmp-port-unreachable
   19  4476 REJECT     all  --  *      *       153.181.242.38       0.0.0.0/0            reject-with icmp-port-unreachable
   22  3400 REJECT     all  --  *      *       210.188.25.185       0.0.0.0/0            reject-with icmp-port-unreachable
   51  3387 REJECT     all  --  *      *       180.198.72.160       0.0.0.0/0            reject-with icmp-port-unreachable
   16   916 REJECT     all  --  *      *       60.149.92.77         0.0.0.0/0            reject-with icmp-port-unreachable
   16  4926 REJECT     all  --  *      *       118.241.130.248      0.0.0.0/0            reject-with icmp-port-unreachable
   12   552 REJECT     all  --  *      *       115.28.245.132       0.0.0.0/0            reject-with icmp-port-unreachable
  198 11928 REJECT     all  --  *      *       80.250.82.41         0.0.0.0/0            reject-with icmp-port-unreachable
   15  5122 REJECT     all  --  *      *       153.172.130.235      0.0.0.0/0            reject-with icmp-port-unreachable
   69  4140 REJECT     all  --  *      *       66.249.71.52         0.0.0.0/0            reject-with icmp-port-unreachable
   79  4740 REJECT     all  --  *      *       66.249.71.50         0.0.0.0/0            reject-with icmp-port-unreachable
    0     0 REJECT     all  --  *      *       126.247.226.253      0.0.0.0/0            reject-with icmp-port-unreachable
    0     0 REJECT     all  --  *      *       123.217.103.91       0.0.0.0/0            reject-with icmp-port-unreachable
    0     0 REJECT     all  --  *      *       106.72.132.224       0.0.0.0/0            reject-with icmp-port-unreachable

The post アタックするの辞めてくれないかな！ first appeared on ～下町物語～.

Rundeckってなに？

簡単に言うと、タスクスケジューラーかな？cron的な動作もするので、consoleログインしなくてもRundeckがあれば、基本的にWebからゴリゴリやれるツールなのです。

簡単な構成図 汚い字だが、最近味があるなぁｗｗｗ　超＋思考ｗ

こんなことをやると便利なツール

青の人は、管理者としましょう。AWSを例に取ってますが、EC2が数台から数十台並んでいるとしましょう。まあ、1台とかだとconsoleつなげばいいんですけどねぇ。まあ、複数台あるとして、全台でyum updateをかけないといけない要件が出てきました。

この場合、いつもの流れですと、1台consoleつないでシーケンシャルにやって行く方法が1つ、テラタームを複数起動して、ブロードキャストコマンドで一気に実施する方法がありますね。

ただ、前者は、確実にこなせますが、1000台あったらどうしましょうか？1台10分ｘ1000台として、全部片付けるのに166．7時間≓7日程度かかる計算になります。それは、流石に1人じゃやってられないですよね。

じゃあ、どうする？

とりあえず、teratermを1000窓開くか！そんなのが開けるPC無いですよね？メモリーもそうだし、画面も窓を小さくしても、結局は1000窓なんて開けないですね。

そうだこんな時にRundeckでしょ！？

そうなんですよ。Rundeckって、Nodeを選択すると単一Nodeでも、処理を実行出来ますが、All Nodeにすると、全部のNodeに一斉にコマンドを流すことが可能なのです。厳密に言うとSSHでコマンドを投げていきますので、1つのタイムシェアリングを見ると1つのホストしか投げていないので、高速に処理するシーケンシャルとでも言いますか。人がやるよりよっぽど早いです。

インストール

ちゃちゃーとインストールしてしまいましょう。OSは、CentOS7.3 64Bit版を使用しています。図がわるく、rundeck,sh になってますが、体裁上実行権を付与していないので、適当で動くのです。

ちゃちゃーとシェル化して

　コマンドを実行しますね。

3分もたたない間に、インストール完了 4440のリッスンしているのがRundeckです。

ログイン画面を見てみましょう

問題無くあがってきましたね。さっき流したスクリプトは夢の様なスクリプトですねぇ。

ログインIDとパスワードは、デフォルトでadmin/adminです。パスワード変更はWebから出来ないんですよ。この辺りは、リモートの接続方法の運用保守の所で詳しく掲載します。

ここまで来ると、概ね大丈夫ですね。

プロジェクトを作成して、必要なJobをつくって行く感じです。必要なのは、プロジェクト名とsshの鍵情報くらいです。後は、基本的にデフォルトでも動作するはず。

testプロジェクトが作成されました。

Jobをつくって行きましょう。

ここもJob名とWorkflow:command : date等入れるだけで、testとしては十分

test Jobできました。

Jobを動かして見ましょう

問題無くSucceededになって、ちゃんとdate文の情報が取れてきてることが確認出来ますね。これで、Webからサーバ内部に入らなくても、保守作業が出来る事が確認できました。

次は、リモート環境を今回立てたRundeckよりつついてみましょう。といいたい所ですが、もう26時前なので、次回の講釈に回そうと思います。

The post 今回はRundeckのお話 first appeared on ～下町物語～.

まじかよ！！

昨日CentOSのOSアップデートしたら、勢いよくZabbixがBAD requestを返すようになったぜorg

簡単な内部構成図

Zは、Zabbix　Aは、Apache　NXは、Nginx　RPは、ReverseProxy　Jは、Jenkins

数字は、内部はそのPortで通信させて、NginxでReverseProxyでFront側を制御している。そして、ドメインベースのSSL証明書を入れてFront側は完全にSSLで４４３通信させている。

何はともあれ調査

yum logを確認して何がアップデートがかかったかを確認する。その上でZabbixログ確認とsyslogみたり、MariaDBプロセスが上がっているとか、DBにログインしたりして状況を把握する。

状況

今回ログからMariaDBがアップデートされていることは確認したので、今度はプロセスが上がっているかを確認したら、問題無くprocessはあがっていてDBにログインも出来たので、DB自体が壊れた訳ではなさそうです。ただ、ログを見る限りどうも、MariaDBとZabbixが同時にアップデートされた模様。

Zabbixログを確認すると、Zabbixパッケージのアップデートが終わって、DBをアップデートしてる最中に構造が壊れてそこで止まってるようだ。DBにログインしてみるとテーブルが激しく破損している。

原因

状況証拠をもとに考えると、yum updateでZabbixがアップデートしてauto起動でreloadしてDBテーブルをアップデートしてる最中に、MariaDBアップデートは走りアップデート途中でMariaDBプロセスがダウンしたため、もはや動作環境としては破損した状況に陥った。

復旧

もう、とっとと復旧しましょう。今Zabbixが動いてるサーバは１日１回スナップショットをOSまるってとっているので、スナップショットからインスタンスを作成する。

スナップショットを取った時は、もちろん破損してないので何も無く起動してくる。そこからDBdumpを作成し、そのデータをローカル経由で今回壊れたサーバの/tmp位において、DBdumpをインポートする。

DBdump : mysqldump –single-transaction -u zabbix -p qqqqaaaavvv > /tmp/zabbix.db.sql

DBDump import : mysql -u zabbix -p qqqqaaaavvv < /tmp/zabbix.db.sql

その上でZabbixを起動してやると、DBアップデートが走るので正常に完了で動き出す。しかし、まだBADrequestを返す。

こちらで使っているZabbixは、内部を別ポートでフロントをnginxでリバプロ接続している。フロント側が443で通信している関係で、apacheアップデートしたときに、何故かSSLで起動して来て既にnginxが443を掴んでいたので、apacheが上がらずBADrequestを返していたようです。ssl.confをリネームして再起動して問題なく画面出るようになりました。

教訓

yum updateでリストをみて、ZabbixとMariaDBがアップデートが重なる時は、一端Zabbixを除外してアップデートしてから、後でZabbixをアップデートするようにしよう。もしくは、Zabbixを落としてからアップデートを行うと共にアップデート前に、DBdumpをとっておこう。OSごとスナップショットを取って復旧できるようにしておこう。

やれやれ　２時間位かかりましたｗ疲れますね。

The post OSアップデートしたら壊れたZabbix first appeared on ～下町物語～.

メールサーバをreplace

かなり、置き去りになっているメールサーバリプレースを進めないとってことで今日夜から再開します。一応インストールは途中まで終わってるけど、設定が全く移行できてないです。そして、replaceを途中までやって放置していたサーバにログインしてみたのですが、どえらいアタックを受けて居てログインFailが48600件・・・。まじで！まじで！！

22番をあけたまま放置してましたからね！仕方がないですが、うちのサーバSSHは全部鍵認証にしているのでチャレンジレスポンスとか、パスワード認証とか全然やってないですよ。SSHの脆弱性が無い限りSSHルートによるログインアタックは難しいと思います。という事で、万が一の話もあるので、いったんそのインスタンスは捨てて、新しく立て直しました。GIPも変わったのでもうアクセス出来なくなったはず。それに、ＦＷで特定のＧＩＰからしか接続出来ない用に設定をしました。

Postfix関連のreplaceについて

CentOS5からCentOS7にアップデートしてますし、動いているミドルウェアもCentOS5の時のバージョンと変わってますので、同じ設定を入れても動かない可能性もありますし。

どうやって、連携させたのか不明なやつもありますし、とりあえずがんばってみましょう。ドメインキーとか、国別で拒否する仕組みも取り入れているので、どうやって設定したのか悩ましいですね。５年以上前の構築手順なんて覚えてないない！現在稼働しているサーバをみつつ、リプレースかけて行きましょう。

結局途中までつくったんですよ！

えぇ！メールサーバなので、現在登録されているメールユーザをシェルつくってざーっと登録したんですよ。そしたら、なんと！40アカウントくらいを越えた当たりで、制限を超えたというエラーメッセージがではじめ！！なんだよ！まじかよ！つかえねーじゃん！とかごやのVPSは仮想化ソリューションが2つあって、KVMとOpenVZで、容量が確保しやすいのがOpenVZなんで、そちらで立てていたんですよ。しかしですよ、そちらは本当にカーネルのバージョンは変えれないし、色々制限が多くて今回のユーザを多数作るような用途には使えないですって事が途中分かったので、結局KVMソリューションのインスタンスを立て直して、そこからPostfixをまずいれて、ある程度現在動いて居るサーバからconfigを移行させて、ユーザ92アカウント全部つくってパスワード全部設定して力つきました。今日夜から続きをやって行こうと思います。

The post 今日は、メールサーバを作る first appeared on ～下町物語～.

さっきから負荷が高い！

若干管理画面からガリガリやっているのもあるんだけど、どうもさっきから負荷が高いなぁ。概ね3位まで上がっている事が多いなぁ。時々alertがあがってしまう事もあって、いやはやどうしたものか？って感じなんだけどなぁ。結構アクセスも多くなっているのも事実なんだけど。

メモリーが少なすぎる

なんだか、めちゃくちゃスワップしている気がするがきのうせいかｗアクセスログを眺めながら記事を書いているが、スワップ使用容量が半端ないですねぇ。これ使い切るとこのサイトもダウンしちゃいますね。アウトオブメモリーでラブイズオーバーって感じですかね。そろそろスケールアウトして、ちょっとでかいメモリーとコア数に変更しようかなって感じです。オンラインで出来るっぽいので良いんだけど。最近月間2万PV位まで回っているので、ちょっと色々考えない都ですねぇ。プロセスを制限したり色々して1GBしかないメモリーを節約して使って居るが、もう少しアクセスが増えてくると、ちょっとまずいかも知れないね。

ただ、前回かなり負荷テストで2000セッションくらいかけて見たけど、とりあえず大丈夫だったから、まあ状況みて考えるかな。時間帯的に見ても、結構まだ薄い青が多いので結構空き空きのサーバではあるんだけど。

月間でいうと、15万PV位は稼ぎたいんだけど、これ以上この記事書きに時間を割けない気がするし。どうしたもんだろうか？とは思うけど、まあまあ、楽しいので良いですが。

The post Ｌｉｎｕｘ負荷たけーなｗ first appeared on ～下町物語～.

ansible ってなに？

全然知りませんよね！？　僕も知りませんｗ
ちょっとここから、簡単に今日知り得た部分を簡単に書いて行こうとと思います。ansibleってとりあえずは、ssh経由で自動構築して品質の向上と毎回同じserverを作る事が出来き、コード管理する事で変更管理等など出来るツールである。基本的には、AWSでいうならシェフ的なツールと同じ役割だが、シェフはエージェントを介して制御するのに対して、ansibleは、エージェントレスでsshでつないでコマンドを投げて構築出来る差があります。

では、実際に書いてみましょうか。

って気軽に言える代物ではありません・・・。取れ合えず、色々とお作法を覚えないとまず使おうと思っても使えないので、お作法を覚える所からスタートですね。

まずはdirectory構成はこんな感じで書くみたい

ansible—- ■hostsファイル
| 　　　　　　inventory ファイルと呼ばれる、対象ホストや、グループを定義するファイルです。
|
| – ■vars(group_vars)ディレクトリ
| 　変数を別ファイルに外出しして、値を変更しやすくします。
|
| — role ■サーバの役割による分岐点です。
|　 |
| 　| – ■tasksディレクトリ
| 　| 　各role毎に何を実施するかが具体的に書かれています。
| 　| 　例えば、サーバの設定やサービスのインストールなどはtasks ディレクトリ以下の main.yml に記載します。
| 　|
| 　| – ■handlersディレクトリ
| 　|　 handlers 以下には基本的にサービス再起動の main.yml を置いています。
| 　| 　taskディレクトリ以下の main.yml でサーバの設定変更を行い、
| 　| 設定反映のために handlers で再起動するイメージです。
| 　|
| 　| – ■templatesディレクトリ
| 　| 　サービスの設定ファイルのテンプレートを、j2形式で置いています。
| 　|　 設定ファイルの中身を全部Playbookで書くよりも、テンプレートファイルを用意して、
|　 |　これを使用するとした方が簡単です。

ほーらどんどん、出来そうな気がしてきましたよね？

まったく、それはまやかしですよ！出来る別け無いんです。現に私が全くできなくて困っている位なので、とっととお作法を覚えてガリガリVPS契約したら、速攻SSHキーペつくってansibleをJenkinsから流して終わりにしたいのです。それが一番早く毎回同じ構成のserverが作れる最善ではないかと考えます。まずは、そのなんていうか！？ansibleをとっととやらないと駄目だって事です。それに、どんな現場に行っても、それくらい出来るでしょ？的な感じになっちゃってますので、ここのうちのブログで私と共にがんばって行きませんか！？とりあえず、今日は第1回目なので、この辺りで終わりにしますが、第2回目は、ansibleをserverに入れて実際に動作を確認してみようと思います。

準備する物

• VM Playerが動くPCの準備 (64Bit PC)
• CentOS6 or CentOS7 のISOファイル
• VM Player上にインスタンスを立ててCentOS6かCentOS7をインストールしてください
• 検証には最低2台のインスタンスが必要ですので、1台をインスタンスしたら複製を！

最後に！

では、準備だけお願いしますねｗ　今日は、これで寝ますけど。明日また別件の記事を書きますので、見失い用にしてくださいね。ではでは、今日はこれにておやすみなさいませ。

The post ansibleのお話　初歩の初歩　第1回目 first appeared on ～下町物語～.