解决数据质量问题是大数据应用的关键

来源:本站 作者:四为技术 阅读:次 发布时间:2014年7月11日

  5月4日 研究称,整个人类文明所获得的全部数据量,有90%是最近两年内产生的。随着移动互联大潮的席卷,预计通过网路产生的数据量还将呈几何级增长。庞大的数据资源蕴藏着无限的宝藏,过去的一年无论是企业、政府还是媒体,都在谈论大数据。有人说大数据是黄金、是竞争力,然而在这一切谈论的背后却鲜有人关注数据质量这个最根本的问题。普元数据产品总监王轩认为,大数据处理的关键就是解决数据质量问题,规避数据错误、保障数据质量才能真正让企业从大数据应用中获得利益。

  保障数据质量成为大数据发挥价值的先决条件

  “企业做数据集成、数据处理的核心价值我认为是两个方面,首先当然能为企业带来更多的盈利,其次是规避风险,而实现这两个核心价值的关键就是解决数据质量问题。现在大数据环境也好,传统数据环境也好,大家面临很严重的问题在哪儿?我们做了很多数据分析和挖掘,这种分析挖掘到底对不对靠什么来衡量?有的企业是基于数据分析作出了一些营销的趋势性结论,但如果你的数据本身是错的,分析出来的结论未必有用。” 普元数据产品总监王轩表示,保证数据质量是大数据为企业带来价值的先决条件。

  《大数据资产:聪明的企业怎样致胜于数据治理》一书的作者 Tony Fisher 曾提到,如果基本数据不可靠,大多数企业的大数据计划要么会失败,要么效果会低于预期。造成上述结果的关键原因在于,数据生命周期之中流入了不一致、不准确、不可靠的数据。在数据领域最流行的一个说法是“更好的数据意味着更好的决策”,这句话从来不假,在当今的大数据时代甚至更为真切。

  “在我们接触的众多银行案例中,经常会遇到这种情况,做完一个数据仓库,客户信息重名的上万个,一个人1000多个账户,这都是数据质量的问题。为什么会出现这种数据问题呢?数据处理是一个复杂的过程,这其中有很多环节,从前期的数据标准、数据集成到数据处理等等,任何一个环节出错都有可能导致数据质量问题。其中数据处理是清洗数据和规避数据风险的重要环节,在这个技术领域普元做得很专注,在业内也是领先的。”王轩认为除了现有数据的处理,规避实时数据风险尤为重要的,如何在交易错误时即时阻断数据错误是保障数据质量的重要手段。由此普元早就提出大数据平台产品线的概念,把所有这些环节需要的技术手段都囊括进来,这正是普元正在修炼的‘秘籍’。”

  摘自《比特网》

QQ咨询
微信
wxfwh.png
联系我们
回到顶部