預測分析選舉結果、景氣動向等
另外,人們的一個強烈期望,是運用大數據對不大遙遠的未來,也就是對當下或者近期做出準確的定量預測。我在雅虎實施過兩個有趣的預測。一是預測了2013年7月的參議院選舉結果。
最終發現,我們的預測大部分準確,預測結果的準確率超過了所有主要媒體。具體而言,我們發現網際網路上關注度—搜尋量和推特(Twitter)、Facebook上的原創投稿量等-—與投票方式具有高度關聯性,針對每個選舉區進行了預測。歷來的辦法是通過專家學者的觀察、選民的呼聲和問卷調查結果等進行綜合預測,而我們僅依據數據的類型和利用量進行預測,獲得了準確性超越傳統做法的結果。
另一個例子是經濟情況的預測。內閣府公布的景氣動向指數,通常在時間上要滯後1、2個月,但人們想知道的不是兩個月前的景氣好壞,更想知道現在的情況如何,於是我們開始了這個預測。我們首先從分析搜尋詞條入手。雅虎上全年大約會出現75億種搜尋詞條。我們對其中經常被搜尋的約60萬個進行了全面分析後,篩選出了尤與經濟指標密切相關的200個關鍵詞。以此為基礎,製作了用於推導當前景氣指標的模式,預測結果也成功做到了基本準確。
如上所述,在對近期或當前的定量預測中,大數據發揮出巨大作用。實際上,它早已被用到了日常的供應鏈管理(Supply Chain Management)中,便利商店一天3次發送數千件商品也沒有出現赤字的一個理由就在於此。
妨礙利用的各種問題
然後,我想談一談利用大數據時可能出現的幾種典型問題。第一,幾乎所有企業實體根本就沒有稱得上大數據的數據。這是問題之前的問題。
第二,各種數據本身尚未得到充分完善,導致無法整合數據加以利用。比如,零售商品數據,通常按大類、中類、小類等多層次分類,但對這種商品管理數據結構,即使是在同一個零售集團內部,每個鏈條都各不相同。這樣一來,整合利用就變得極為困難。如何將這些數據整合起來加以利用是一個重大課題。
即使解決了上述兩個問題,另外還需要一種可以實時處理和利用龐大數據的機制。大多數企業既沒有這種機制,而且也不具備基礎,將不斷湧入的數據存儲到記憶裝置中去。就算擁有存儲基礎,也沒有運用維護的人才。
為了解決這些問題,公司迫切需要的是擁有綜合技能的人才,運用資訊科學和工程技術學,從海量的數據中找出解決商業課題的答案。
綜上所述,缺乏數據、無法整合、不能建立讀取處理和利用的機制、沒有足夠的儲存保管基礎、缺乏運用維護人才以及可以綜合梳理並解決問題的人才——這就是現今大多數公司利用大數據的現狀。
