x86平台数据迁移也出彩

  • 来源:中国计算机报
  • 关键字:数据迁移,太平洋保险,x86平台
  • 发布时间:2015-05-19 12:46

  ——中国太平洋保险(有限)公司数据迁移之旅

  随着NAS的快速普及,个人和部分企业开始将数据迁移到NAS上,但这仅仅是庞大数据量线上迁移的一种入门级做法,真正的数据迁移才刚刚开始。这里要谈的可不是简单的数据拷贝,而是数以百兆、千兆,甚至亿兆级别的企业级数据迁移。

  企业数据迁移的初衷大致分为两种:其一是因业务发展导致存储空间不足而将暂时“闲置”的数据迁移至其他存储设备,其二是因业务发展系统必须升级而不得不进行数据迁移。在消费级数据迁移过程中,使用NAS方案迁移数据时我们经常会遇到意想不到的差错,从而导致迁移失败。那么对于这种企业级数据迁移来说,任何细小的差错都有可能造成前功尽弃,即便是几TB数据,企业都不可能让它轻易丢失,因此有那么多数据恢复公司存在并且凭借数据恢复业务获利丰厚。因此,从硬件到软件,企业在数据迁移前期、迁移过程中、迁移后都要精挑细选,确保万无一失。

  各行各业数据迁移经历都有所不同,但又有着众多的相似之处,我们在本专题中特意为大家选取了保险行业中国太平洋保险(集团)股份有限公司的数据迁移历程,希望能够对其他行业的用户有所启发。

  客户简介

  中国太平洋保险(集团)股份有限公司(以下简称“中国太平洋保险”)是在1991年5月13日成立的中国太平洋保险公司的基础上组建而成的保险集团公司,总部设在上海。中国太平样保险是国内领先的综合性保险集团,公司通过覆盖全国的营销网络和多元化服务平台,为全国约8,000万客户提供全方位风险保障解决方案、投资理财和资产管理服务。

  在业务不断拓展过程中,中国太平洋保险于2009年H股上市(中国太保,HK02601)。2010年,中国太保投资管理(香港)有限公司成立。2012年,太平洋保险在线服务科技有限公司注册成立。2014年,太保安联健康保险股份有限公司注册成立。这些新成绩新业务的飞速发展不单纯地以人力增长为依托,它们需要更多的技术支撑,尤其是在数据存储和数据分析方面。

  迁移背景

  中国太平洋保险从2012年公司开始以客户为中心的业务转型,所有的发展都是围绕着客户信息展开的,包括客户的梳理、客户信息的整合、聚合。为此,中国太平洋保险成立了大数据的项目,专门处理客户信息。只有了解客户在中国太平洋保险购买了哪些产品,客户可能有什么诉求,才能够更好地服务于客户。这些大数据、统计分析类的业务需求日益增多。

  中国太平洋保险要分析客户的行为,所以数据量的增长和系统的增长从原来的倍数增长变成了指数增长。为了缓解越来越多的资源和数据需求,中国太平洋保险一直在寻找成本更低、速度更快、部署更灵活的解决方案。

  “2009年,中国太平洋保险已经实现了95%以上的应用全部运行在x86虚拟平台上这样做可以带来更快的交付速度、更灵活的响应速度和更弹性的压力负载。但是那时候中国太平洋保险还没有做数据库的迁移,其主要原因是考虑到当时小型机比x86的服务器更稳定。鉴于数据库的重要性,中国太平洋保险一直关注着数据迁移技术的发展。”,中国太平洋保险资深架构师张文若表示,“直到2012年,有数据表明x86服务器和小型机在稳定性方面已经不相上下。于是,我们在2012年开始尝试把数据库从小型机迁移到x86平台上。2012年底确定了把x86平台作为数据库可选平台之一,并且逐渐地把数据库(周边系统和非核心关键系统)从小型机迁移到x86平台。中国太平洋保险开始走上了数据迁移的道路。”

  面对挑战迎难而上

  中国太平洋保险参与数据迁移的人员很少,真正负责的仅有一两个人。这就决定了要选取的数据迁移解决方案必须非常高效,这样才能迅速准确完成数据迁移任务。在具体的迁移过程中,中国太平洋保险参照既有IT运维流程,开发、维护、架构搭建等团队总共6~7人。这样精简的团队需要各司其职才能顺利完成这项艰巨的任务。

  在项目初期,数据迁移的是一些压力比较小的系统,但还是遇到了很多质疑。中国太平洋保险内部一些部门认为,数据在原来的系统上运行得很稳定,一旦迁移就增加了不确定性。为了排除顾虑,迁移人员需要做很多的测试,验证的数据比较多。随着项目的推进,中国太平洋保险开始迁移数据量更大、更重要的系统,对技术的要求有了进一步的提高,主要难点在于:第一是I/O吞吐性能的提高。有些系统是统计分析类的,它的数据量非常大,原来在小型机上已经跑不动了,现在迁到x86平台如何解决;其次就是高可用技术需求的提升。有一些系统不仅需要运行VMware,还需要运行Rack,或者基于Oracle的ASM系统。这是中国太平洋保险在初期和后期所面临的问题,初期是对迁移至新系统的不确定性的疑惑,后期则主要表现为技术难度方面。

  中国太平洋保险U2L项目过程就是把数据库服务器从小型机迁移到x86平台的过程,通俗讲就是从UNIX操作系统迁移到Linux操作系统的过程。

  解决方案成果展示

  针对前文中所提到的初期和后期的问题,中国太平洋保险通过自己挖掘潜力,提出了一系列解决方案。对于系统变化,前期进行验证,确保小规模系统顺利迁移。对于大规模系统迁移的困难,尤其是对于I/O吞吐量需求的提升,中国太平洋保险采取了增加I/O卡的方式。这种SD卡可以极大提高吞吐能力。而对于要有新功能的需求,中国太平洋保险始终在进行摸索、尝试,为了配合更重要数据库的迁移,会在交换技术上再引进一些新的产品到这个架构里面来。

  在迁移的时候,中国太平洋保险最先考虑的是性能问题。张文若表示:“2012年我们做了一些测试,英特尔的芯片和RISC芯片性能不相上下,无论是在在线交易系统还是统计分析的实际测试过程中,都可以看到几乎相近的结果,可能个别数据还有所提升。这坚定了我们迁移的决心。对于企业来说稳定性也至关重要。从一开始我们就确定数据库迁移不是单纯的物理迁移,而是迁移到虚拟化平台上来。所以,我们对比了IBM的Power HA和VMware的VMware HA。通过对比,VMware HA的功能更加丰富,切换的效率也更高。于是我们开始了迁移之旅。经过了这几年的迁移,我们获得了一定的收益,最直接的收益是成本的降低,不单硬件成本降低,还有维护成本的降低,同时还获得了其他的收益。在迁移过程中我们做了应用梳理,完成了操作系统和数据库版本标准化统一,进一步降低了运维的难度,运维成本也随之大幅降低。”

  在数据迁移之路上,中国太平洋保险发现,随着系统迁移的深入,其直接或者间接的收益逐步凸显出来。首先,在IT投入方面,迁移到x86平台上节省了多少钱,其实这并不是最重要的,最大的挑战来自于机房空间、电力、制冷这些方面,这些投入才是最多的。张文若表示:“由于机房电力的限制,如果我们继续购买小型机,可能空间、电力、制冷都要做很多扩容。自从开始小型机迁移到x86后,中国太平洋保险硬件购买和维护费用降低至原来的10%。还有信息化的发展越来越快,数据量的增长也越来越快。这也是我们进行数据迁移的因素之一。”

  在性能方面,迁移前后也存在着很大区别。2013年下半年,中国太平洋保险的x86服务器升级为HPDL580 G7(至强E7-4860 10核处理器),比英特尔至强x7560处理器服务器在性能上提升了40%以上,稳定性和可靠性也得到大幅提升。

  2014年以后,服务器升级为HP DL580 Gen8(至强E7-4870 V2 15核处理器),性能比上一代采用E7-4800处理器的服务器提升了60%以上,每台服务器Oracle数据库虚拟机数量提高50%,服务器稳定性也得到了进一步提高。

  通过这次迁移,中国太平洋保险对于电力和制冷要求下降80%左右,大大缓解了机房扩容要求。同时,数据迁移可以把原来浪费的资源进行整合,合理利用。

  本报记者 赵明

关注读览天下微信, 100万篇深度好文, 等你来看……