別記事でも書きましたが、HDDの記録方式について書いてみようと思います。

記録方式

大きく分けて2つの書込方式が存在します。

CMR方式

従来の記録方式となります。ある程度の高密度化はできるが、それ以上の高密度にする場合
プラッターの枚数を増やす方法しかなく、結局コスト高になってしまう。

※プラッターとは、HDD 内部に格納されている、磁性体を塗られたアルミニウムもしくは
　ガラスディスクの枚数を言う。下記の写真で見えてる銀色の板のことをいう。

このプラッターの上に、従来通りデータを配置して方式となります。
枯れた技術ではあるが、今までの方式の為、安定した状況で使う事が出来る反面
大容量化がプラッター枚数に依存する為、価格が高かったり重さが重かったりする。

SMR記録方式

最新の記録方式となります。図を作成したので、みて頂ければと思いますが、
1つのデータと近接するデータを半分重ねて書いて行き、微細な領域が読み込めるヘッドで
データを読み出して高密度化を図る。少ないプラッター数で大容量を実現出来る為、
コストが安く容量が大きいHDDを作る事が出来る。

方式をまとめると

各書込方式の動作について書いてく

では、どっちを買ったら良いかを考えて行くうえで、書込方式の動作の違いを書いて行く。

書込時の動作について

データを書く際、赤いセクターに書き込まれる。
CMRは、平たく書き込まれ、SMRは半分重なった状態で書込がされる。

データを読み込まれる場合

データを読み込む場合、赤い部分の単位で読み込んでいく。
SMRは、半分重なっている為、1つの単位の半分の微細な領域を読めるヘッドで読み込みを行って行く。

データ削除と更新の場合

データを削除やデータを更新された場合の挙動について
CMR方式は全く今までの流れと同じで、該当のデータを削除をマークして
未使用領域に設定するテーブルを更新するのみ。
更新の場合は、更新したデータをそのまま書き戻すか
サイズが大きくなった場合は、別の領域に書込ことで対応している。

SMR方式については、これがややこしく、いったん1ブロック256MBの固まりとして
キャッシュメモリーに切り出して別領域に書込して、インデックステーブルを更新するような動きをしている。
重なりを再現する為、仕様上しかたのない処理が入ってくることになります。

この点CMRでは、そのような動作は発生しない利点はあります。

SMR方式の欠点について

大容量・高密度・低価格のHDDという夢の様なHDDですが、
使い方によっては、落とし穴もあります。そこを紹介していきます。

上記で書いた通り、データ削除と更新でprocessが複雑である事を書きました。
その際、何が起こるのでしょうか？

下記図を見てください。キャッシュメモリーは無限ではないと言う事です。
SSDみたいに何GBも用意されている訳ではないので、1つのハードディスクを複数のユーザで
共有しているようなNAS用途で使う場合、書き込み時のオーバーヘッド問題がかなりの確率で発生します。

データは壊れることはないにせよ、仕事につかっているなら、仕事の効率が落ちるでしょうし
待ち時間が長くなってしまうので良いことではありません。

これが、SMR方式の最大の欠点という事になります。
ただ、今後は、HDDの領域に分けてCMR方式とSMR方式を共存させる技術が出たり
各社開発を進めて行っているので、あまり問題にならない可能性もあります。
ただ、2023年時点ではということで考えて頂ければと思います。

CMR方式とSMR方式どちらを買えばいいのか？

こういう事を最後気になると思います。
書込方式の違いにより、用途に応じて使い分ける必要があるように思います。

下記の表をご覧ください。

各社の製品一覧

WD

東芝

Seagate

結論

同じ容量でCMRがあったら、CMRを買っておいた方がよい。
とはいえ、お財布と容量のトレードオフだと思っています。
NAS用途については、CMRを現時点としては推奨となります。

今後は、そのほかの書込方式も多々開発が進んでるようです。
下記のYouTubeが参考になると思います。
時間長いですが、ハードディスクの進化について、見て見ると面白いと思いました。

筆者が目をつけてるHDD

番外編ですが、筆者として今気になっているHDDがこれです。
8TBでCMR方式を採用したPC用HDDです。
この金額ならCMRでも手頃なので、今買うならこれかなと思っています。

参考になさってください。

The post HDD　SRMとCMR書込方式について first appeared on ～下町物語～.

普通に考えるとやっちゃ行けませんよ！！
RAID構成を組む際に、別のストレージを組み合わせる行為は・・・。

そんなこと知ったこっちゃないですと、どうなるか？知りたくないですか？
まあ、そんな感じで書いても、実は、筆者は過去HDDとSSDと混在でRAID5を長期間運用したり
HDDからSSDにRAID5ボリュームを移行させた事もあるので、
結果分かってますが書きますね。

今回のやりたい事

現在使っているQNAPのNASで、Backupになんと8日以上かかったり、
複数ファイルを移動させたり、iscsiでESXiでインスタンスをあげたまま
運用してたりすると、HDD のSMRの悪い所しか露呈しないですよ。

SMRとCMRについては、別記事に書こうと思いますが、
とりあえず、CMRは従来のHDDの書き方、SMRは、最新式の記録方式だとお持ってください。
最新がいいに決まってますとはならないのが、世の常なのですよ。

枯れた技術の方が良い場合もあるって事です。

話がそれましたが、今回QNAPに取り付けてあるHDDがSMRの奴で
ストレージに記録しているデータ数が多くなり、何をするのにもSMRの悪い所が露呈し
極度の速度低下を起こしていることから、CMRのHDDに入れ替える事をやりたい訳です。

入れ替え方法

単純に、RAID5のボリュームを構成しているHDDの一番古いデバイスから
CMRのデバイスに交換して、リビルドを走らせて、次に古い物を取り外し
リビルドをかけて、一番新しいHDDを取り外して、リビルドをかけて
全てCMR化するという事をやって行きます。

注意点としては、3台全て外して入れ替える訳ではありません。
バックアップを戻すにしても、バックアップから戻すのにかなりの時間がかかってしまうので
順次実行していきます。

第1期から第3期までの間で、第2期まではSMRとCMRの一時的に混在環境になります。
いいか悪いかは、普通に考えたら制御方式が全く違うので、良く無いとだけ
書いておきます。ただ、そんなことは言ってられないので実行します。

入れ替えるHDD について

はい！こいつです。WDのWD80EFAXです。
このREDシリーズ、前回訴訟問題にもなった奴ですよね。
NAS用に売られているのに、勝手にSMR化して、え！？知らないよって
訴訟になって、メーカー側はごめん！SMRになっちゃったって言いだした奴です。

え！？SMRなんじゃんって！！そうなんですよ。SMR・・・。
6TBまではね！と。そんな感じで、8TBのモデルについては、CMRなのです。
1～6TBまでは、訴訟になってからメーカーが渋々だした内容としてはSMRなのです。

抜かりなく、8TBのモデルを選択しております。

一番古いドライブ

SMART情報を見る限り、Disk3が990日と9時間稼働してるドライブである事がわかったので
これを取り外して、上記のWDのドライブに差し替えます。

容量問題！？

メーカーが別の場合、容量問題が出る場合があるので要注意です。
RAID5は、8TBといっても、1バイトでも少ないとRAID5構成が作れず
リビルドがかけられません。1バイト以上多いのは問題ないです。

メーカーによって、若干のバイト数に差があって、同じ8TBでも使えない可能性があったりします。
これは、SSDでも言える事なのですが、要注意事項になるので、もし同様に実施される場合
翌々調べてから実行してください。

組み替え

NASをばらして、HDDを1台のみ取り外し、今回でいうならDisk3を取り外し
そこに今回調達したCMRの8TBでものHDDを組み付けて戻して
電源を入れる。そういう感じになります。

システム上

いきなりHDDを交換されてしまうので、システム的には起動時RAID構成が壊れたと
認識して、ステータスランプがエラー表示に切り替わります。
HDDに問題がないと判断されると、リビルドが可能であればリビルドを開始します。

こんな感じですね。
Disk1・2はSMRの8TB　Disk3は今回調達したCMRの8TBです。
M,2の1と2は、キャッシュ用のSSD 1TBが取り付けてあります。
今2TBとか4TBも安くなってきているので、次回の寿命判定が出た場合
最低でも2TBのSSDに交換しようと考えています。

リビルド時間

約72時間～48時間ほどかかるようです。今時点で70．6％で残り22時間46分と表示されています。
途中バックアップが走ったり、サーバの負荷が高くなると、極端に遅くなります。
リビルドを始めた時は、確か150時間とかそんな表示だった気がします。

ということで、今週1週間をかけてCMR化を行って行きます。
動画にうつっているNASが非力な事もあって、どちらにしても変わらない可能性もありますが
書き込んでいるデータが多くなると、スペックが下がる事は確認しているので
それがなくなるだけでもいいと思います。

それに、SMRは、メモリーに貯め込んで、暇な時に書き戻すをやっているので
シスログとかで、常時どんどん流れ込んでいる状態だと、HDDが止まる
タイミングがなく、常時書き続けている状況になるのでSMRじゃ駄目な気がします。

SMRがNASに不向きな理由

書き換えが増えると、とたんにレイテンシが増えていってIOがとまってしまい性能劣化する。
リビルド完了した後で見て見ると、同じタイミングで書き込んでいるのですが
あからさまにレイテンシが違いますね。脱SMRを進めて良かったとおもいます。

次回予告！？

次回、SMRとCMRの違いについて記事を書こうと思います。
同日、記事として記載いたしました。下記の記事も読んでみてください。

また、HDDとSSDを混在してRAID5で運用した過去記事も良かったら読んでみてください。

The post SMRとCMRを混合してRAID5をリビルド first appeared on ～下町物語～.

という事で、どうにかせねばプロジェクト！

さてと、最近VM上で立ち上がっているインスタンスが本当に遅いのです。
何に原因があるかは、だいたい想像つくのですが、思いつくところを書いてみます。

1. CPUが遅い (AMDのクアッドコア)
2. メモリーが足りない(8GBしかのっていない)
3. HDDが遅い(マグネット4台のRAID5(ライトキャッシュ付きハードウェアRAID))
4. メモリーやCPUがオーバーコミットされている為

上記が遅い理由となります。この中で少しでも速さを追求出来るとしたら、HDDをSSDに交換してしまえって事なのですが、ここからはエンジニアとして、普段は絶対しない様な構成を次に書きます。

大前提：RAID5環境でHDDとSSDを混在した場合の動作検証

まず、上にも書いた様にこのESXi6.5はマグネットのDISKが4台(500GBx3 / 700GBx1)の構成です。
500GBのHDDはマトリックス社の同じ容量と回転速度及びキャッシュメモリーでそろえてあります。
そのうち1台が破損して、マトリックス社から東芝の7200ｒｐｍの700GBのHDDに交換してリビルドをかけています。（現在の状態）

これを、1台づつマグネットDISKからSSDに置換をしていく事にします。

HDD0(500GB)  → SSD(740GB) 現在交換してリビルドが走っています。
HDD1(500GB)  → SSD(740GB) 上記リビルドが完了した後に実施
HDD2(500GB)  → SSD(740GB) 上記リビルドが完了した後に実施
HDD3(700GB)  → SSD(740GB) 上記リビルドが完了した後に実施

上記の様に、1台単位でHDDからSSDに置換していきます。最後の1台がリビルドがかかって完了するとHDDからSSDになり高速に動作するようになる事を想定しています。

そして、エンジニアとしてHDDの中にSSDとか・・・！RAID環境において、同じメーカーで同じ容量と回転数をそろえる事なんて、定説ではありますが、そこをあえてどうなるか？も含めてやってみたかったというのがあります。

結論とすると、見る限りこんな動作になっています。

HDD0～2からパリティを計算して、SSDの中に取り外したHDDの内容を復元されている状態(リビルド中）
しかし、HDDの速度は遅く3台まとめて読み込んでもSSD1台の書込速度上限には届かず。ただ、リビルドしながら書込はHDDとSSDに同時に書込がされている事から、HDDとSSDの速度差は全てRAIDカードに取り付けているDDR256MBのメモリーにライトキャッシュする形で速度差が吸収されている感じを受けます。

RAIDカードも馬鹿じゃ無いので、SSDが速いからといってHDDにとってどうすることも出来ない為、HDDアクセス速度を基準に動作している状況。一番遅いメディアに最適化して動くが正しいです。効率が良いやり方ではないですが、移行中は仕方が無いです。全てが終われば低速デバイスHDDが無くなるので、SSD速度に準拠して動作を始めると思われます。

ただし、ハードウェアRAIDカードで処理しているとは言え、RAIDカードの上にのっているCPU処理速度の限界もあります。その為、SATAで流せる最高速が常に出る事は基本ありません。そもそもRAID5は1回のアクセス毎にパリティを計算しないと行けない為、それだけでもオーバーヘッドがかなり要求されます。

https://qiita.com/Jianbo/items/49b3699e2471aa7955b3　からお借りしました。

お約束

これらの構成は、自己責任であり必ずしもどの環境でも実現出来るとは限らないリスクがある移行方法だという事をご認識の上自己責任において作業をお願い致します。また、リビルド中は、1台でも壊れると全てのデータが飛びます。ホットスペアが無いRAID5構造の場合は注意が必要です。今回の筆者の家で動作しているESXiはホットスペア無しのRAID5構成です。

The post RAID5環境でHDDとSSDを混在した場合の動作検証 first appeared on ～下町物語～.

長らくESXi6.5 Serverを使ってきましたが、どうも調子が優れないので、色々な状況を考えてServer自体を新調する事にしました。

ESXi6.5に使っていたServerは、HP(ヒューレット・パッカード社製) ProLiant ML115 G5という格安でたたき売られていたServerに、ハードウェアRAIDカードとバッテリーバックアップの追加と、256MBのcacheメモリーを入れたServerにしたて、追加NICカードを2枚使って、ESXi6.5として現在もつかっています。

先日、どうもNICカードというかネットワーク関連のトラブルに悩まされるようになって、本体がロースペックだということと、凄く五月蠅いServerなので、ちょっと負荷をかけるとFANがブンブン凄く五月蠅いのです。

https://w.atwiki.jp/ml115_g5/pages/30.html
ここにも書いてる通りなのです。

出来れば、静かな環境で仕事したいのもあって、今はほぼテレワークで仕事を進めている関係上で、極力静かというコンセプトで次期Serverへリプレースをかけていくことにしました。

用意したのは！？

HP Z420 Workstation です。空冷タイプではなく、水冷タイプを用意しました。
といっても、我々からしてみれば、私の今使っているPCもそうなのですが、簡易水冷と言われているモデルになります。同じマシンで空冷もあるみたいなのですが、今回は極力騒音を出さないという事で水冷（簡易）モデルとしてあります。

下記の様な水枕がついているだけです。この内部に水が循環されており、ラジエターで放熱されて、その熱をケースFANが外部に吸い出すような動きになっています。

HP Z420 Workstationのスペックですが、下記の通りG5と並べてみました。

replace元の爆音爆安server　ML115G5です。

リプレース後のserver、 Z420が下記となります。

スペックは天地の差ですね。そもそも4コアNOHTのAMDコアのserverから、Xeon8コア HTで16コアとして認識するCPUと、メモリーも当初16GB程度しかなかったメモリ－を全部はずして、8GBｘ8枚で64GBとしてあります。

ただ、ESXi6.5からRAIDカードとバッテリーバックアップとcacheを外して、こちらのServerに取り付けて何もなく、ブートすると想定してましたが、全くブートせず・・・。結局、選択肢は2つ、Z420のServerにはマザーについているソフトウェアRAID機能しかなく、実はESXiはいくらマザーボードのシリアルATAにHDD3台接続して、RAID5構成を組んだとしても、シングルのHDDとしてそこにインストールされてしまいます。

ここから、ハードウェアRAIDカードを入手して、RAID5構成を2TBｘ3で構築し、そこにESXi6.7とついでに4PortのGbitNICをインストールして、ESXい6．7でリプレース前の構造を再現設定し、OVFをとりつつ、新しいServerに載せ替えていって居る状況です。

ネットワーク構成は、下記のように外部から受信と送信に使って居るPortは、チーミング構造として、アクティブStandby構造として、Failバックの設定をいれてあります。NIC障害を想定すると、1つは、vmnic0がマザーのNICカード（Standby）vmnic1が今回増設している4Portの1つのポートに割り当てて、その上位でL2switchに接続されています。

動作的には、ping 8.8.8.8 をうちながら、vmnic1側のLANケーブルをL2switchから物理的に抜きます。Pingは、しばらく止まりますが、数秒でFailオーバーしてvmnic0側からPingを打ち始めます。そのまま、vmnic1側のLANをL2switchに接続して、ネゴシエーションが終わりオンラインになると、Failバックしてvmnic1からPingを送信します。Failバック時は、全くping落ちがないですね。どうしてもシステムがリンクダウンを検知するまでに、ラグがあるっぽいですね。

上記設定例でした。あまり参考にはならないかもしれませんが。上位層のL2switchに通知するオプションを投入してますが、普通のL2ではないスイッチングHUBだと、うまくFailオーバーやFailバックができないかもしれません。

筆者がつかっているのは、NEC製のL2switchです。FANレスで安定的に動くので気に入ってます。また、設定がかなり簡単で非常にいいですね。そして安い。10GbpsのHubがそろそろ欲しいですけどね。

The post ESXi6.5 Serverが調子悪いので新調 first appeared on ～下町物語～.

とまあ、おおきな見出しをつけたけど、ちょいとHADOOP関連を記事にしてみようと思ったり

層でなかったりするけど、HADOOPってなんぞや！？って事なんですが、

黄色いぞうさん↓でおなじみの、ビッグデータ集積基盤なのですよｗ

ビッグデータってなんぞや！？それは、おいらもしらねー！

おら悟空、頭悪いからそんな事わかれねー！って

野沢先生に劇団時代お世話になっているので、あまり言えません！

何回か稽古をつけていただきました。これリアルでｗ

いや！話がそれましたが、一言で言えば、行動ログを取られて

そのログでマーケティングに活用して、売上を伸ばせればって奴ですね。

全然一言じゃあない気がしますけどねｗ

まあ、そんな所で、HADOOPと言えば、クラウデラですかね？

なんとなく、クラウディアとちょっとかっこつけて言いたくなるのは何なんでしょうねｗ

クラウデラマネージャーなんて製品もありまして、仕事に使ったり色々使ったりしている訳ですよ。

そこで、これらの製品を諸々の事情で辞めて、HDPという互換のオープンソースに切り替えようとしています。

まあ、この辺りは詳細は書けないけど、まあ、とりあえずHDPがどんなものよって事で

テスト環境入れて、起動してみました。そんな事してたら、なんかこんな時間来てますが

そろそろ、お風呂に入ってJETStream聞いてまったりしたいのですが

まだ、この記事を書きかけてしまったので、まだ寝るのがかなり後に押されて行ってしまいますね。

テスト環境は、4コア・16GBメモリーくらいの20GB　SSD環境で構築しましたが

JAVAで出来ているのか？初回起動はかなりあがってきませんでしたね。

2回目はすっとあがってきましたが、画面も確認出来たので今日はこの辺りでよいのかな？と思ってます。

明日以降で、色々触ってみて、知見を高めていければと思っています。

ぶっちゃけですけど、HADOOPとかWebHcatとかYARNとかZookeeperとかHBaseとか

Oozoe（これ普通の人読めないですよね？ウーじぃー）SparkとかSpark2とか

ZeppelinとかSqoop（これも読めないですよね？スクープ？）とか

HiveとかHDFSとかですね、まあHADDOP関連はそれらの集合体で出来ておりまして

この辺り、どのようなつながりで出来ているのかは？、追々このブログでも取り上げて行こうと思っています。

HDFSとなんか、NFSのstorageで使う様な事もやってみたいなと思っています。

分散型のファイルシステムなので、どこにどのようなデータを置かれるか？

全く分からないのですよ。ただ、storageが故障したりしても、他のstorageから

同じデータを復元出来るから、RAID的な動きも出来る訳ですが、

ただ、スペックがそんなにで無いのはまあ、仕方ない話ですね。

いよいよ、このブログでも、HADOOP取り扱い出したりして、

本当に大丈夫でしょうかねｗ　それで、今ご飯食べてるのでまあ、仕方がないですけどね。

では、今日はこんな所で・・・。おやすみなさい。

あ！まだ寝ないですけどねｗ

The post HDPを試す！　そしてビッグデータを活用するｗ first appeared on ～下町物語～.