在信息时代,随着数据量爆炸性的增长,数据处理和数据利用的发展达到了前所未有的新高度。大数据、云计算、移动互联网等新兴技术的产生,催生并激发了新技术新企业对传统行业的变革。我们清醒地看到:从科学、医疗、商务、娱乐、电子政务等领域都将凸显数据驱动应用的作用。
大数据带来的挑战
大数据将不仅仅是一种海量的数据状态及其相应的数据处理技术,更会成为一种思维方式,一项重要的基础设施。2016年及更远的将来,数据库在分布式计算和分布式存储、结构化和非结构化、传统的联机事务处理与联机分析处理(OLTP&OLAP)之外,将有更多的挑战主导大数据领域技术和商业模式的发展。
■编程模型及其语言
大数据时代我们需要一种编程语言能够根据数据的结构化或半结构化的特点进行分析、处理以及类型检查;工业制造(机器人)能够根据数据内容,通过感知大数据系统结构特点来优化性能。
■容量问题
系统软硬件的可伸缩性(scalability)受到挑战,单靠提速扩容无法应对大数据处理的需求。大数据突破了线性期望,催生了从不断增加存储容量来满足数据增长的Scale-UP(纵向扩展)到增加包含容量、处理能力和I/O带宽的节点的Scale-OUT(横向扩展)的变化。
■数据处理流程发生变化
在“生成”和“粗选”阶段,我们需要基于可信度量的预处理;需要从传统面向查询的组织存储转向面向分析和挖掘的存储;在“挖掘”、“应用”阶段,需要大规模并行、实时分析挖掘。
■数据应用的开发方法
应用开发将从传统的面向单机计算为主,逐渐转变为面向以并行数据为主。如何在程序中高效地表示、处理大数据,如何提高调试、维护大数据应用的效率,如何面向不同数据应用需求,定制领域特定语言(Domain Specific Language,DSL),都将是我们要考虑和解决的问题。
■自主可控与产业链打造相结合
如何在做到市场开放、加强国际交流合作的同时,保证我国信息领域,特别是大数据领域的本质安全,是需要所有国产数据库厂商从产品研发与产业体系建设两方面考虑的问题。
自主可控的产品体系与生态建设
以上提到的众多挑战中,对国产基础软件厂商而言,最困难的就是生态环境的建设。建设完整的产业体系,以及对应的大数据生态环境,无法单靠几项技术突破或是一两家基础软件厂商的做大做强来实现,需要整个产业中的各个环节即企业共同发力,从研发、生产到销售、应用的所有环节实现全面的创新和突破。
现阶段提出的“创新、协调、绿色、开放、共享”发展理念,都表明未来将是国产企业与国际主流厂商一方面相互竞争,一方面相互补充、共同发展的局面。以数据库为例,目前在全球能够自主研发数据库的国家只有美国、德国、中国三个国家;在中国以达梦数据库研究最为深入,市场占有率最高。但客观地讲,我们的IT核心技术和国外一流厂商相比,还有一定的差距。
如何才能摆脱受制于人的局面,成为“多极世界”中的一极,掌握足够的话语权?我们始终坚信以自我技术发展为核心,当务之急就是加快产业体系建设,打造完善的生态环境,而非仅仅着眼于产品的销售。离开了自主可控的产业体系和国产基础软件生态环境的支撑,单纯的数据库技术的突破和市场占有率的提升将是空中楼阁,难以持久。
■自主可控提升能力
“自主可控”是产业体系建设的基础,通过“自主”来提升自己的能力,才能真正做到可控。我们要坚持与国外领先企业合作、交流,学习先进的技术,但最终要做到“吸收”、“消化”、“创新”。我们要在充分学习、借鉴的基础上,根据实际需求自主的发展,不能亦步亦趋地单纯模仿;更不能通过“买技术”,甚至是OEM贴牌等手段来走捷径,自欺欺人。达梦公司坚持自主开发,通过30余年的技术积累,成为首个通过EAL4安全认证的国产数据库厂商(美国禁止向中国出口EAL3以上等级的数据库),推动了国家在数据库领域的安全可控。
■兼容已有体系
强调国产并不是要自己创造一个全新的产业体系和生态环境,国产厂商想要生存和发展,首先要兼容、适应已有的体系和环境。
达梦数据库一直强调跟Oracle的兼容性,包括数据迁移和同已有应用的对接。在国家电网、国家发改委、公安系统、中航信、中铁建等众多项目中,实现了国产数据库从外围应用到核心系统的突破。
■自主创新的国产之路
坚持自主创新的国产软硬件厂商是很不容易的,能够生存发展至今,一方面是企业自身的坚持,另一方面是这几年国家对自主可控产业体系和整个生态环境建设的需求和支持。国产数据库,包括整个国产基础软件产业,通过多年的努力,已经取得了长足的进步。
所以我们应该清楚地认识到发展自主可控的信息产业依旧任重道远,也应该相信只有坚韧不拔地走一条属于自己的国产之路,最终才能实现历史性的伟大突破,迎来一个全新的大数据时代。
相关链接
关于达梦
武汉达梦数据库有限公司为中国电子信息产业集团(CEC)旗下基础软件企业,专业从事数据库管理系统与数据分析软件的研发、销售和服务。
30多年来始终坚持原始创新、独立研发,掌握数据管理与数据分析核心技术和前沿技术,掌握全部源代码,拥有完全自主知识产权。公司是国家规划布局内重点软件企业,首批获得国家“双软”认证的高新技术企业,唯一获得国家自主原创产品认证的数据库企业,拥有国内顶级的数据库研发精英团队,多次与国际数据库巨头同台竞技并夺标。
达梦公司的发展跨越了七个“五年计划”,先后完成了近60项国家级、省部级的科研开发项目,取得了50多项研究成果,皆为国际先进、国内领先水平,有30多项获国家、省部级科技进步奖,是国内数据库行业的领军企业。
达梦公司已经建立稳定有效的市场营销渠道和技术服务网络,可为用户提供定制产品和本地化原厂服务,充分满足用户个性化要求。达梦数据库已覆盖公安、电力、铁路、航空、审计、通信、金融、海关、国土资源、电子政务、应急救援等军口、民口20多个行业领域,连续5年国产数据库市场占有率第一。
高巍 杨小麟
……