このごろよく聞く”ビッグデータ”とは何ぞや？？

このごろあちらこちらで”ビッグデータの活用”なんてキーワードを聞きます。

しかしどうにもいまひとつ意味がわかりにくい用語です。

せっかくの連休だったので、いろいろ勉強しておりました。

”ビッグデータ”の言葉の意味は以下のリンク先に書かれておりますが。

ビッグデータ : IT用語辞典 e-Words

読んで字の如く、要するに”途方もなくでかいデータ”ってことです。

毎日積み重ねられている膨大で無秩序なデータのことを”ビッグデータ”といってるようで。

ただこれでは単なる和訳。これが今の時代のトレンドだといわれてもぴんと来ません。

上の用語辞典ではこのデータの分析がビジネスにおける新たな知見やシステムを生み出してるって書かれてますが、なんのことだかさっぱりです。

というわけで、下記の記事を読んで私なりに解釈してみたんですが。

［連載］どうなるビッグ・データ | キーワード | Computerworld - エンタープライズITの総合ニュースサイト

”ビッグデータの活用”とは、つまるところ”データベースの活用”の発展版いったところのようです。

データベースの活用といえば、例えばコンビニの売り上げデータの集計という事例があります。

コンビニのレジでぴぴっと商品のバーコードを読み込んだときに、その情報はそのコンビニの元会社に送られてるそうです。

データとしては、何時何分にどこの店でどんな商品が売れたか、という記録が日々蓄えられていってるようで。

これを元に、例えば「この地域ではどんな商品が売れてるのか？」だとか、「夏に売れてる商品は何か？」だとかを層別して分析してるんだとか。

そのとき出てきた数字から、夏になったらどんな商品がどれくらい売れて、というような予測ができ、在庫を最小限にしたり、新たな商品開発に生かされてるとのこと。

データを収集して、層別・分析したり、検索したりする仕組み、それが”データベース”です。

じゃあ”ビッグデータ”とはこの”データベース”と比べて何が違うのか？

わかりやすいビッグデータの例としては、Twitterがあります。

一日に一億件とも言われる巨大なデータですが、内容は「○○なう」だの「アイスうめぇ」みたいなおよそ同じ傾向のデータばかりとはいえないデータ群です。

こういう無秩序で混沌としたデータ群を分析し、今のトレンドを探り出そうというのがいわゆる”ビッグデータの活用”ってやつのようです。

”ビッグデータ”という言葉には非定型データとか、非構造化データという意味も込められてるようです。ビッグデータの活用とは、まさに無秩序極まりないところから意味のあるデータを取り出そうということを言うわけです。

コンビニの会計データだってかなり大きいですが、そこに日本全国の小学生の小遣いデータとおかあちゃんのへそくりデータが入り混じったようなものがビッグデータでしょうか？たとえが下手ですいません。

大量の川砂の中から砂金を探すようなものだと例えられてます。

このツイートも、例えば愛知県の知立(ちりゅう と読みます)あたりに的をしぼったら「大あんまきうめぇ！」というツイートがたくさん出てきて、この地域では大あんまきなるものが流行ってるなんてことがわかるかもしれません(実際はそんなツイートが多いのかどうかは知りませんが、大あんまきは知立の名物です)。

上の話は冗談ですが、先のアメリカ大統領選挙ではこのビッグデータの活用が当否を分けたといわれてます。

米国大統領選挙におけるビッグデータ活用：『ビジネス2.0』の視点：ITmedia オルタナティブ・ブログ

支持者が集まる夕食会を開くときには、その地域で影響力のある人をゲストとして招いたりしたそうですが、その際に使われたのは”THE CAVE”という”ビッグデータ”の解析チームが探り出したデータのようです。

よく世の中の動向を知るための手段としてアンケートが使われます。

これはこれで有効な手段ですが、これですべての事象を把握できるわけではありません。人々の潜在的な欲求というものはアンケートでは分かりにくいもののようです。

その潜在的な需要を探り出し、これまでは見えてこなかった何かを見出し、新たなビジネスチャンスをつかもうというのがビッグデータというものが流行ってる理由のようです。

が、IT業界ではこの”ビッグデータ”というのは注目されてるんですが、日本の会社のトップに重視されてるという感じはほとんどありません。

理由の一つとして、”ビッグデータ”という言葉からは本来の目的がわかりにくいからじゃないかといわれてます。おかげで”ビッグデータという名前はやめよう”という人もいますが。

もう「ビッグデータ」はやめよう - TechCrunch

確かに”ビッグデータ”という言葉のイメージが”ビジネスチャンス”とはつながりませんね。

別の理由としては、膨大なデータの分析なんてうちには関係ないと思っているトップも多いってこともあるようで。

ビッグデータというと、Twitterみたいな世の中にある巨大なデータを相手にするというイメージがあるようです。

ところが実は一つの会社の中のデータでも肥大化して無秩序化しており、すでに”ビッグデータ”化しているといわれてます。

どちらかというと今ハード・ソフトベンダーの目指す”ビッグデータ活用”の中心は企業内データの解析・活用にあるようです。いろんな事例を見てますが、どうもそんな感じです。

ところでこの社内にある膨大なデータ、私は宝の山だと思ってます。

どの会社にもあるマニュアルやノウハウ集がありますけど、そこに載せられていないような知識の蓄積が実はいろんな人のパソコンやサーバー上のデータとして残ってることが多いんですよね。私の会社だけでなく、どこの会社でもそうじゃないかと。

が、偉い人ほどこういう膨大なデータの存在を知るとすぐに”無駄なデータを整理せよ！ディスクがもったいないじゃないか！”と叫んじゃうんですよねぇ・・・

これも多分日本のどの会社も同じような状況じゃないかと。サーバー用ディスクって高いですから。

しかしこんな一見”無駄な”データでも分析・層別して整理すれば、業務を後戻りさせない仕組みがつくれると私は確信してるんですが(いいかえれば現状は過去の誰かがやったのと同じような失敗をたびたび繰り返してるってことです)。

これが、私が”ビッグデータ”をちょっと勉強してみようかなと思ったきっかけです。

果たして、日本でも”ビッグデータ”のブームは来るんでしょうか？

本気でやろうとするとかなりの設備投資を伴うので、トップが理解してくれるかどうかにかかっています。

社内の膨大なデータの蓄積が宝の山だと納得してくれれば、きっとうまくいくんでしょうけどねぇ。無駄なデータばかりだから整理すればいいといってるうちはきっとだめでしょうね・・・

なんかくどくどと書いてしまいました。多分、専門の人が見たら突っ込みどころ満載です。

特に最後の方は愚痴っぽい内容ですいません。

最近いろいろたまってるんです、ご容赦ください。

「クラウド化」と「ビッグデータ活用」はなぜ進まないのか?