とまあ、おおきな見出しをつけたけど、ちょいとHADOOP関連を記事にしてみようと思ったり

層でなかったりするけど、HADOOPってなんぞや！？って事なんですが、

黄色いぞうさん↓でおなじみの、ビッグデータ集積基盤なのですよｗ

ビッグデータってなんぞや！？それは、おいらもしらねー！

おら悟空、頭悪いからそんな事わかれねー！って

野沢先生に劇団時代お世話になっているので、あまり言えません！

何回か稽古をつけていただきました。これリアルでｗ

いや！話がそれましたが、一言で言えば、行動ログを取られて

そのログでマーケティングに活用して、売上を伸ばせればって奴ですね。

全然一言じゃあない気がしますけどねｗ

まあ、そんな所で、HADOOPと言えば、クラウデラですかね？

なんとなく、クラウディアとちょっとかっこつけて言いたくなるのは何なんでしょうねｗ

クラウデラマネージャーなんて製品もありまして、仕事に使ったり色々使ったりしている訳ですよ。

そこで、これらの製品を諸々の事情で辞めて、HDPという互換のオープンソースに切り替えようとしています。

まあ、この辺りは詳細は書けないけど、まあ、とりあえずHDPがどんなものよって事で

テスト環境入れて、起動してみました。そんな事してたら、なんかこんな時間来てますが

そろそろ、お風呂に入ってJETStream聞いてまったりしたいのですが

まだ、この記事を書きかけてしまったので、まだ寝るのがかなり後に押されて行ってしまいますね。

テスト環境は、4コア・16GBメモリーくらいの20GB　SSD環境で構築しましたが

JAVAで出来ているのか？初回起動はかなりあがってきませんでしたね。

2回目はすっとあがってきましたが、画面も確認出来たので今日はこの辺りでよいのかな？と思ってます。

明日以降で、色々触ってみて、知見を高めていければと思っています。

ぶっちゃけですけど、HADOOPとかWebHcatとかYARNとかZookeeperとかHBaseとか

Oozoe（これ普通の人読めないですよね？ウーじぃー）SparkとかSpark2とか

ZeppelinとかSqoop（これも読めないですよね？スクープ？）とか

HiveとかHDFSとかですね、まあHADDOP関連はそれらの集合体で出来ておりまして

この辺り、どのようなつながりで出来ているのかは？、追々このブログでも取り上げて行こうと思っています。

HDFSとなんか、NFSのstorageで使う様な事もやってみたいなと思っています。

分散型のファイルシステムなので、どこにどのようなデータを置かれるか？

全く分からないのですよ。ただ、storageが故障したりしても、他のstorageから

同じデータを復元出来るから、RAID的な動きも出来る訳ですが、

ただ、スペックがそんなにで無いのはまあ、仕方ない話ですね。

いよいよ、このブログでも、HADOOP取り扱い出したりして、

本当に大丈夫でしょうかねｗ　それで、今ご飯食べてるのでまあ、仕方がないですけどね。

では、今日はこんな所で・・・。おやすみなさい。

あ！まだ寝ないですけどねｗ

The post HDPを試す！　そしてビッグデータを活用するｗ first appeared on ～下町物語～.