選挙結果、景気動向などの近未来予測に威力発揮

さらに、今後ビッグデータに強く期待されているのは、遠い未来ではなく、今、もしくは近い未来の正確な定量的予測だ。ヤフーで実施した2つの面白い事例がある。1つは2013年7月の参議院選の結果予測だ。

我々が行った予測は、大半が正解で終わり、どの主要メディアよりも正確な結果を得た。具体的には、インターネット上の注目度―検索された量やツイート、Facebookでのオリジナルな書き込み量など―が、投票パターンに高い相関があることを見いだし、選挙区ごとに予想した。従来のアプローチでは有識者の洞察、有権者の声やアンケート結果から総合的に予測をしていたのに対し、データのパターンと利用量だけで予測を行い、従来法を超える結果を得たことになる。

もう1つの例は景気予測だ。内閣府の景気動向指数は1、2カ月遅れて発表されるが、2カ月前に景気がよかったといわれるよりも、今知りたいという理由で着手した。そこではまず、検索ワードを解析することから始めた。ヤフーには年間約75億種類の検索ワードが存在する。その中からコンスタントに検索利用があった約60万種類を全量解析し、特に景気指数と相関の高いキーワードを約200抽出した。これをベースに、現在の景気指標を導くためのモデルを作り、こちらもほぼ正確に予測することに成功した。

このように近未来、現在に関する定量的予測には、ビッグデータは大きな力を発揮する。実際、サプライチェーンマネジメントでは日常的に活用されており、コンビニエンスストアが、1日3回も数千品の配送をしていても赤字にならない理由の一つはここにある。

利活用を阻むさまざまな問題

次に、ビッグデータを利活用しようと思った時に起こりうるいくつかの典型的な問題を挙げよう。第一に、ほとんどの事業体にはそもそもビッグデータといえるほどのデータがない。これは課題以前の問題だ。

第二に、さまざまなデータそのものが十分に整備されていないため、データを統合して利活用できない。例えば、小売の商品分類は、通常、大分類、中分類、小分類のように何層にも分かれているが、この商品管理のデータ構造は同じ小売グループでもチェーンごとにデータ構造が違う。結果、統合利用は極めて難しい。これら複数データを統合した上での利活用は大きな課題だ。

この2つの問題が解決されたとしても、今度はそのデータの大きなトラフィックをリアルタイムに取り込んで即座に利活用するという仕組みが要る。この仕組みが大半の企業にはない。さらにここから入ってきたデータを次々にストレージに保管するための基盤もない。保管基盤があったとしても、今度は運用メンテナンスをする人材がいない。

これらの解決のためには、膨大なデータの海から情報科学、エンジニアリングの力を活用し、ビジネス課題に答えを出す総合的なスキルを持つ人材が必要だ。

以上見てきたとおり、データがない、統合できない、取り込み処理、利活用の仕組みが組めない、保管基盤がない、運用メンテする人がいない、これらを統合して課題を整理し、解決することが出来る人がいないというのが、多くの現場で起こっている利活用の現状だ。

セキュリティー対策から見える企業の二極化

ビッグデータの議論では、プライバシー保護の問題がよく取沙汰されるが、違う立場からの議論が混在しているため、どの立場から見るかによって、問題の次元が違う。

セキュリティーの問題は、大手のインターネット事業者の多くでは既に重要な手当が終了している。例えば、ヤフーにおいては、個人を特定することが出来る情報と行動履歴データは明確に切り離されており、データ利活用は匿名化された情報をもとに行われる。

一方、従来型の企業の多くでは個人情報とログデータを必ずしも分離せずに統合管理している。加えて、これらの企業の多くでは、危険をウォッチする仕組みが充分でないため、データが外に漏れているかどうかについても発見が困難だ。

データの利活用において、企業の二極化が起きている。利用者を守るために、利活用というよりデータ管理に対してまずは各社でガイドラインを作成することが必要と考えられる。

日本が抱える3つの「ハンディキャップ」

総じて、今の日本は、米国などと比べるとデータ利活用の環境に3つの大きなハンデがある。1つはビッグデータを生み出す企業が少ないこと。2つめにデータを使いやすい環境にするための基盤がないことだ。例えば、電気代が米国の何倍もかかるため、データセンターなどの設立と運営がコスト高になる。日本に情報系の主要企業がデータインフラまで含めてなかなか進出してこない理由の一つはここにある。データ産業を誘致するには、特別な電源供給を認めるぐらいの特例を設けるべきだろう。

3つめは前述の人材不足の問題。これには「データサイエンス力」と「データエンジニアリング力」、課題背景を理解した上、ビジネス課題を整理し、解決するスキル（「ビジネス力」）の3つのスキルを持つ人が必要だ。

データサイエンス力とは情報処理、人工知能、統計学などの情報科学系の知恵を理解し、使う力だ。データエンジニアリング力とは、データサイエンスを意味のある形に使えるようにし、実際のシステムに実装し、運用できるようにする力だ。必ずしも一人である必要はないが、それぞれのスキルを持つ人を意図的に集中的に育て上げることができるかが、今後のビッグデータの利活用の成否を握るのではと私は考えている。

（2014年9月25日のインタビューを基にニッポンドットコム編集部が構成）