预测分析选举结果、景气动向等
另外,人们的一个强烈期望,是运用大数据对不大遥远的未来,也就是对当下或者近期做出准确的定量预测。我在雅虎实施过两个有趣的预测。一是预测了2013年7月的参议院选举结果。
最终发现,我们的预测大部分准确,预测结果的准确率超过了所有主要媒体。具体而言,我们发现互联网上关注度—搜索量和推特、Facebook上的原创发帖量等——与投票方式具有高度关联性,针对每个选举区进行了预测。历来的办法是通过专家学者的观察、选民的呼声和问卷调查结果等进行综合预测,而我们仅依据数据的类型和利用量进行预测,获得了准确性超越传统做法的结果。
另一个例子是经济情况的预测。内阁府公布的景气动向指数,通常在时间上要滞后1、2个月,但人们想知道的不是两个月前的景气好坏,更想知道现在的情况如何,于是我们开始了这个预测。我们首先从分析搜索词条入手。雅虎上全年大约会出现75亿种搜索词条。我们对其中经常被搜索的约60万个进行了全面分析后,筛选出了尤与经济指标密切相关的200个关键词。以此为基础,制作了用于推导当前景气指标的模式,预测结果也成功做到了基本准确。
如上所述,在对近期或当前的定量预测中,大数据发挥出巨大作用。实际上,它早已被用到了日常的供应链管理中,便利店一天三次发送数千件商品也没有出现赤字的一个理由就在于此。
妨碍利用的各种问题
然后,我想谈一谈利用大数据时可能出现的几种典型问题。第一,几乎所有企业实体根本就没有称得上大数据的数据。这是问题之前的问题。
第二,各种数据本身尚未得到充分完善,导致无法整合数据加以利用。比如,零售商品数据,通常按大类、中类、小类等多层次分类,但对这种商品管理数据结构,即使是在同一个零售集团内部,每个链条都各不相同。这样一来,整合利用就变得极为困难。如何将这些数据整合起来加以利用是一个重大课题。
即使解决了上述两个问题,另外还需要一种可以实时处理和利用庞大数据的机制。大多数企业既没有这种机制,而且也不具备基础,将不断涌入的数据存储到记忆装置中去。就算拥有存储基础,也没有运用维护的人才。
为了解决这些问题,公司迫切需要的是拥有综合技能的人才,运用信息科学和工程技术学,从海量的数据中找出解决商业课题的答案。
综上所述,缺乏数据、无法整合、不能建立读取处理和利用的机制、没有足够的储存保管基础、缺乏运用维护人才以及可以综合梳理并解决问题的人才——这就是现今大多数公司利用大数据的现状。
