普元大数据治理提高数据质量

  • 来源:中国计算机报
  • 关键字:数据治理,普元,大数据
  • 发布时间:2016-07-19 14:21

  数据是企业的核心资产,使用数据的能力决定了企业的竞争力,数据驱动企业发展,数据是估值企业的关键指标。很多企业在数字化转型过程中需要大数据为它提供精准的分析结果。那么,如何才能提供精准的结果?首先最基本的要求就是数据质量要高。普元信息软件产品部副总经理、大数据产品线总经理王轩认为:“企业数字化转型需要以高质量的数据作为基础。企业有了高质量的数据,就能够加速它的数字化转型的过程。”

  在数字化转型过程中,很多传统行业希望把出售数据作为其利润增长点。但是如果想把数据当作商品出售,那么至少需要这个数据是有质量保障的。但目前情况下,这些数据有非常多的问题。虽然很多企业经过了这么多年的IT建设,但数据模型并不统一,没有统一的数据标准,也没有数据质量的检测体系。没有统一的标准,就没有质量控制的能力,高质量的数据就无从谈起。王轩表示:“一些企业已经意识到在数据资产化之前,第一步应该先进行数据治理。只有数据质量提高了,才能实现数据资产化。”

  数据治理的本质是什么?数据治理的本质就是使数据和服务更加紧密地结合,实现数据的内在价值,为企业提供新的利润增长点。但在数据治理过程中,企业中每个业务部门都认为它的数据是正确的,但从宏观角度来看,业务部门之间的数据是不一致的,这其实就是数据质量问题。

  确保数据质量

  在做数据分析时,如果应用错误的数据做分析,那么不论分析的方法精准与否,分析的速度多快,都无法得出正确结果。因此,首先要确保数据质量。要想确保数据质量就要做数据治理,而做数据治理,并非一次性的工作。

  “它绝对不是一个毕其功于一役的事,它需要一个长期的过程,也需要很好的平台。”王轩认为,“很多项目分析结果出来以后,项目是失败的,主要原因是分析的结果都是错的。没法保证分析结果是对的。我们需要用大数据治理支撑整个上层用户。真正的大数据治理,尤其是大企业做数据治理,它是一个全过程和全方位的事情。”数据治理需要有一个很好的技术平台,但仅仅依靠技术平台是不够的。在技术平台之外,需要有一系列与业务相关的协作,包括数据标准、数据质量等一系列工作要完善,共同完成大数据治理任务。

  当企业意识到数据有问题时,通常分析结果已经出错,然后才去检查数据,进行数据治理,这事实上已经是亡羊补牢的做法。因此,要防患于未然,在数据采集、数据交换等每一个环节都做数据治理。而数据治理还需要针对不同行业特点,比如,金融、电信和能源等行业的数据信息标准就不同,不可一概而论,需要建立不同行业的数据标准。

  数据标准化是企业信息化建设最根本、最基础的工作,数据标准化工作做得好,会为后续的BI、大数据分析打下坚实的基础。但数据标准化工作是个费力不讨好、非常不容易开展的工作,越来越多的企业在数据标准化的过程中发现了企业管理上的诸多问题,甚至影响到了企业利益,那么企业应该如何开展数据标准化相关工作?

  普元信息大数据产品部资深架构师袁锋涛认为:“数据标准是增强企业各部门对业务统一理解的手段,是企业在开发应用系统时对数据进行定义的依据。数据标准化是面向企业顶端的,是伴随企业体系化建设的长久之路。”

  数据标准体系完善的过程,是通过各种手段、方式、渠道,建立数据标准体系的过程。在此过程中企业应以元数据管理为基础,推动数据标准在各应用系统中的执行,逐步形成常态化的、闭环的标准体系应用机制,从整体上提升企业的数据质量和数据管理水平,为实现企业数据流的畅通和全系统信息资源的共享奠定基础。

  只有数据标准逐步完善,才有可能进行准确的数据治理,对大数据实施全过程、全方位的管理。很多人在做数据治理的时候,往往只集中在数据应用环节,范围过窄。在整个过程中,要从数据应用、数据传输、数据存储等环节全面去做数据治理,在每一个环节都需要控制数据的标准和质量。

  如何判定数据是否存在价值

  世界上没有废物,只是没放对地方。这是很多环保人士市场挂在嘴边的一句话。而数据,也可以套用这种思维方式。

  所谓无用的数据,某些是在处理中发现确实数据有错误,需要治理,但也有一些数据看似与以前或者当下业务无关的数据。但这类数据未必对未来业务没有帮助,或许有其他价值,那么普元是如何区分和处理这些数据的呢?

  王轩表示:“首先数据都是有价值的,但是企业的核心的数据一定要是准确的,外围的数据可以暂时搁置一边。普元目前提出的数据标准是相对狭义的,我们首先要抓住核心点,确保企业最有价值的那些数据准确。对于那些边缘数据,理想的做法是将其先存储,再进行分析、挖掘,从中获取其它有价值的内容。”

  如何治理

  数据治理过程中,IT部门成了数据治理的一个执行者,并不是主导者,主导者是业务部门。业务内在的需求促进了数据质量的提升。普元帮助企业做数据治理,为它们提供数据共享和开放,在共享开放的过程中,帮它们提高数据质量。这种形式很好满足了一些电信行业企业的需求,把数据质量提升上去,让高质量的数据成为合格的商品。

  同理,在制造行业企业中,也需要提高数据质量。在它们的发展阶段,操作系统之间的数据和业务系统的数据之间的标准不一致,导致产品数据出现很多质量问题。普元数据治理以此为切入点,帮助制造业企业更进一步提升数据的质量。

  为了发现这些数据质量问题,企业建立了一个数据质量控制平台,但还有一个问题会发生,那就是即使发现数据存在质量问题,很多部门仍然不对其进行更改或修正。这也说明了企业对数据治理的执行力不够强。不仅数据标准落地的关键点在于“执行”,数据治理也应如此。有效执行才能体现数据治理对业务、技术、流程的促进意义。

  普元数据治理三大特色

  首先,普元信息的数据治理解决方案可以覆盖全行业。普元能帮助各行各业的客户,把它们的数据质量提升。同时,能完成它们数据现阶段最复杂、最重要的任务。

  其次,普元解决方案是全体系的。通过平台、服务、规划等各个方面的完整规划,能够帮助企业把数据治理落地。普元并非做单独一个产品,而是在数据的整个生命周期,每一个阶段都能够帮助企业控制它的数据质量,达到企业的数据治理需求,实现数据价值。

  再次,普元信息的全部平台都是自主研发。

  普元信息在数据治理领域积累了众多经验,并且已经构建了良好的生态体系,包括华为、星环、南大通用等大数据企业均已经跟普元建立了战略合作关系,它们的数据都可以应用普元的数据治理来管控。王轩表示:“大数据价值是否能完全体现出来,治理是关键。”

  普元信息是国内知名的软件基础平台与解决方案提供商,主要面向大中型企业、政府机构和软件开发商提供SOA、大数据、云计算三大领域的软件基础平台与解决方案,用以满足上述组织信息化建设对关键技术的需求,帮助上述组织的业务向互联网、移动互联网转型,达到提升核心竞争力的目标。

  普元信息是国际标准组织OASIS成员、SOA国际标准SCA/SDO的主要参与制定者、全国信标委SOA分技术委员会SOA与Web服务工作组副组长单位、全国信标委云计算工作组成员单位。

  普元信息专注于软件基础平台领域,具有分布式计算、服务构件技术、可视化技术、业务流程管理、内存计算、企业移动计算、数据治理等核心技术。

  在中国市场,普元信息的产品已经为金融、电信、电力、军工、能源、政府、制造、物流等多个行业提供服务。在海外市场,通过与华为公司合作,普元产品已销往加拿大、巴西、日本、科威特、南非、也门、印度、荷兰、泰国等近40个国家。

  ■本报记者 赵明

关注读览天下微信, 100万篇深度好文, 等你来看……