気になるけど

PC関連情報、ビジネス書、IT資格などについて書いていきます。 ただいま不定期更新中です。

PREV | PAGE-SELECT | NEXT

≫ EDIT

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
Twitterでつぶやく

| スポンサー広告 | --:-- | comments(-) | trackbacks(-) | TOP↑

≫ EDIT

Hadoopと歩む企業システム

ヤフーを変え始めたHadoop
by ITpro 検証!クラウドコンピューティング

自宅や会社でPCを普通に使うくらいの方にはまったく縁が無いであろう分散処理ソフトのHadoopですが、これが大企業のシステムなど、莫大な量のデータベースを扱う場合などは、もはやHadoopを使わねば成り立たなくなる日が来るかもしれません…。

Hadoopに関しては下記URL達でご確認ください。

Hadoop
by wikipedia

Hadoopで、かんたん分散処理
by TechBlog

Hadoop、hBaseで構築する大規模分散データ処理システム
by CodeZine

Hadoopに関しては過去にこのブログでも一度書いておりまして、

個人でも膨大なデータの解析が行なえる時代
by 気になるけど

↑この記事ではクックパッドの事例を紹介していますが、Yahoo!でのHadoop化への取り組みが本格化している記事を見て、私のようなシステム関連に関わる仕事の人間には、とても興味をそそる内容となっています。

そもそもGoogleがなぜあれだけ高速に検索結果を表示出来るかというと、超大規模な分散処理システムを持っているからでして、巨大な倉庫のようなところに、所狭しとサーバ機が格納されているという噂です。

一日に何台もハードディスクが壊れるそうなので、常識を逸した世界の例ですけども、インターネットの検索を支える重要なバックグラウンドの一つとして動作しているのです。

商業クラウドとして世界No1のシェアをほこる、Amazon EC2/S3サービスも、このHadoopを使って動作しており、1時間ごとに細かく分かれた料金などは、利用する側としても必要なリソースを欲しい分だけ借り、必要が無くなればそこで契約を打ち切ることもできることから、急なイベントなどでも活用されています。

そんなクラウドの技術の一つとして大本命なのがこのHadoopとなり、年々ものすごい勢いで増え続けるデータベースを処理するのに、分散処理なくしては語れない時期に差し掛かっていると言えましょう。

企業だけに留まらず、個人でも写真を始めとした様々なデータ容量が膨らむばかりですので、それらを1台のPCやサーバ機で処理するのには限界があります。

もちろん、個人でそれだけのデータを抱えている人は、そんなにいないとは思いますが、少なくとも世の中から「データ」が減るということはありえません。増える一方です。1日に何百万人もの利用者が訪れるYahoo!などで扱うデータ量は、言わずもがなですけど、Hadoopを使えば時間的な制約からある程度解き放たれます。

私も企業システムの構築・運営をしておりますので、膨大な量のデータベースをシームレスに、より高速に動かすには、高スペックのサーバ機数台程度では物足りなく感じることもあります。そんな時にはやはりHadoopを視野に入れることも検討していかねばなりません…。

残念なことに私はHadoopに関してど素人同然でして、その原理や概要は理解していても、「じゃあお前Hadoop使って社内システムの評価環境構築すれ!」とか言われても困ってしまうのです(苦笑)

最近はシステムの評価の際にも仮想化環境の中で動かすのが一般的になってきているため、古いPCやサーバ機50台程度を集めてHadoop環境を構築しておけば、ちょっとしたプライベートクラウドして、データ処理などの場面で威力を発揮しそうです。

とりあえずは、何でも本で学ぶのが好きな私は、入門書的な雑誌を手に入れたりして、少しずつ学習を進めていきたいと考えています。



仮想化、クラウド、分散処理と来て、次はどんな技術と関わり合うことになるのか、期待とともに相当不安もある私なのでした…。正直ついていけそうにありません(苦笑)
Twitterでつぶやく

| 仮想化・クラウド・分散処理 | 22:30 | comments:0 | trackbacks:0 | TOP↑

COMMENT















非公開コメント

TRACKBACK URL

http://kininarukedo.blog84.fc2.com/tb.php/932-e49e40a4

TRACKBACK

PREV | PAGE-SELECT | NEXT

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。